AMD新品号称性能强于英伟达

【AMD新品号称性能强于英伟达】

文章图片

文章图片

AMD的256GB Instinct MI325X GPU在AI推理工作负载方面的表现可以超越Nvidia的141GB H200处理器，并承诺下一代MI350加速器芯片将使性能大幅提升。
在训练AI模型方面， AMD表示MI325X与H200相当或略胜一筹。
MI325X是Instinct MI300X的后续产品，具有更大的内存容量和带宽。
Instinct MI300X去年12月推出， AMD凭借提供强大的AI加速器芯片方面的实力，成为Nvidia的竞争对手。

这是AMD新战略的一部分，即每年发布一次Instinct芯片，而不是每两年发布一次，这显然是为了跟上Nvidia加快的芯片发布节奏。
AMD表示， MI325X明年第一季度开始应用于戴尔科技、联想、超微、惠普企业、技嘉、Eviden 和其他几家服务器供应商的系统。
Instinct MI325X规格和性能指标
Instinct MI300X配备192GB HBM3和5.3TB/s的内存带宽，而基于与MI300X相同的CDNA 3 GPU 架构的MI325X配备256GB HBM3E ，由于内存格式的更新，内存带宽可达到6TB/s 。

在吞吐量方面， MI325X具有与MI300X相同的功能：8位浮点（FP8）性能为2.6千万亿次浮点运算， 16位浮点（FP16）性能为1.3千万亿次浮点运算。
在芯片级别将AI推理性能与H200进行比较时， AMD表示， MI325X采用8组、70亿参数的Mixtral 模型，吞吐量提高40%；采用70亿参数的Mixtral模型，延迟降低30%；采用700亿参数的Llama 3.1模型，延迟降低20% 。
MI325X将适用于八芯片Instinct MI325X平台，该平台将作为明年初推出的服务器的基础。
该平台通过带宽为896GB/z的AMD Infinity Fabric连接八个MI325X GPU ，将具有2TB的HBM3e 内存、48TB/s的内存带宽、20.8 petaflops的FP8性能和10.4 petaflops的FP16性能。
这意味着MI325X平台的内存容量比Nvidia的H200 HGX平台高出80% ，内存带宽高出30% ， FP8和FP16吞吐量快30% ，该平台配备8个H200 GPU ，今年早些时候开始出货，作为基于H200的服务器的基础。
AMD将推理性能与H200 HGX平台进行比较， MI325X平台通过4050亿个参数的Llama 3.1模型提供了更快40%的吞吐量，通过700亿个参数的Llama 3.1模型提供了更低20%的延迟。
在单个GPU上训练70亿参数的Llama 2模型时， MI325X比H200快10% 。
另一方面，在八个GPU上训练700亿参数的Llama 2模型时， MI325X平台与H200 HGX平台不相上下。
MI350芯片推理能力提升35倍
下一代 Instinct MI350加速器芯片系列有望明年下半年推出，并透露与MI300X相比，推理性能将提高35倍。
这是基于运行1.8万亿参数专家混合模型的八GPU MI350平台的工程估算做出的预测。
MI350系列基于AMD下一代CDNA 4架构，采用3纳米制造工艺，将包括MI355X GPU ，配备288GB HBM3e内存和8TB/s内存带宽。

MI350系列支持新的4位和6位浮点格式 (FP4、FP6) ， MI355X能够实现9.2千万亿次浮点运算。
对于FP8和FP16 ， MI355X预计分别达到4.6千万亿次浮点运算和2.3千万亿次浮点运算。
这意味着下一代Instinct芯片有望比MI325X或MI300X提供快77%的FP8和FP16格式的性能。

Instinct MI355X平台配备八个MI355X GPU ，预计将具有2.3TB HBM3e内存、64TB/s内存带宽、18.5 petaflops的FP16性能、37 petaflops的FP8性能以及74 petaflops的FP6和FP4性能。
MI355X平台拥有74petaflops的FP6和FP4性能，预计比MI300X平台的FP16功能快7.4倍。
MI355X平台的内存容量增加了50% ，这意味着它可以在单个系统上支持多达4.2万亿个参数模型，是MI300X平台的六倍。
AMD明年下半年推出MI355X后，公司计划在2026年推出采用下一代CDNA架构的Instinct MI400 系列。

AMD新品号称性能强于英伟达

推荐阅读

西北五省都包括哪些地方

乌鲁木齐城乡居民医保缴费指南

怎么查看sql server 数据库的实例名

如何找回微信好友如何找回微信好友删除的好友名单

腾讯大王卡免流量范围包括b站吗

冰箱用什么方法驱除臭味

孕妇吃芒果有什么好处孕妇可以吃芒果吗

竹笋焯水需要放盐吗

花店茶桌上摆放什么物件花店茶桌上摆放什么物件好

如何参加社会保险

青岛西海岸医疗中心，青岛开发区西海岸医疗中心有没有验光配镜部门

裙子不要搭配这三种鞋子长裙搭鞋子的禁忌症

小编教你keep更改昵称的操作流程。

给坐牢里面的人写信能回信回来吗

中国近代史纲要考试难吗

知网查重报告怎么看重复率,怎么看知网查重报告的真伪