AMD在“Advancing AI2024”直播活动中,正式发布了Instinct MI325X,本季度将全面投产。除此之外,AMD还带来了下一代基于CDNA 4架构的AMD MI355X加速器的相关信息,该款产品将于明年正式发布。
Instinct MI325X属于AMD CDNA 3架构产品的一部分,是一款纯GPU加速器,提供了1.3 Petaflops的FP16和2.61 Petaflops的FP8计算性能。其改用容量更大、速度更快的新款HBM3E显存,总容量从Instinct MI300X的192GB提升到256GB,对应带宽也从5.3TB/s提高到6TB/s。
AMD预计从2024年第四季度开始首次生产Instinct MI325X AI GPU,并从2025年第一季度开始通过主要合作伙伴提供相应的服务器解决方案。AI Instinct服务器将采用多达8个MI325X配置,拥有高达2TB的HBM3e内存、896GB/s带宽、48TB/s的显存带宽、20.8PFLOPs的FP8性能和10.4PFLOPs的FP16性能。每个GPU的配置也达到了1000W,比MI300X的750-700W配置有了大幅提升。
AMD称,Instinct MI325XAI GPU加速器在Mixtral 8x7B中比英伟达H200快40%,在Mistral 7B中快30%,在Meta Llama 3.1 70B LLM中快20%。在Llama 3.1 405B中,8块MI325X计算平台的性能比H200 HGX AI平台快40%,在70B推断测试中快20%。在人工智能训练方面,MI325X的性能将与H200平台相近或高出10%。
AMD还公布了InstinctMI350系列首款产品的规格,也就是Instinct MI355X,将引入新一代的CDNA 4架构,采用3nm工艺制造,搭配HBM3E,总容量进一步提升到288GB,对应带宽提高到8TB/s,TDP也上升到1000W,计划2025年下半年开始发货。按照AMD的说法,Instinct MI355X提供了2.3 Petaflops的FP16和4.6 Petaflops的FP8计算性能,相比前代产品的提升幅度约为77%。此外,新产品还将支持新的数据类型,包括FP4和FP6。