超微MI250效能有望匹敌NVIDIA A100

高效人工智能（AI）训练演算法和平台新创业者MosaicML最新实测报告显示，超微（AMD）MI250加速器在大型语言模型（LLM）训练上的效能表现，约为NVIDIA A100-40GB与A100-80GB芯片的80%与73%。

MosaicML技术长汤汉林（Hanlin Tang）认为，如果超微正在进行的软件更新工作顺利完成的话，预期未来MI250效能将会与NVIDIA A100匹敌。

路透（Reuters）与富比士（Forbes）等报导，目前NVIDIA位居AI芯片市场领导地位。近来随着如ChatGPT等聊天机器人和其他AI服务迅速席卷科技产业，不但使得NVIDIA市值超越1万亿美元，也导致NVIDIA芯片供不应求。

NVIDIA已表示，正在努力解决芯片短缺问题，但也有不少业者开始转而寻求其他可行的替代方案。超微AI加速器被视为是NVIDIA芯片的可能挑战者。

MosaicML表示，超微MI250是一款类似于NVIDIA A100的数据中心加速器。MI250具有比A100还要多的高带宽存储器（HBM）。这意味着MI250可以容纳更大的模型来训练或推论。此外，MI250采用全新的Matrix Core技术；该技术类似于NVIDIA用于快速矩阵乘法运算的ensor Core技术。

以MosaicML MPT-1B LLM对MI250与A100实测结果显示，从相同检查点开始，MI250与A100产生几乎相同的损失曲线；在MPT-1B/3B/7B/13B等不同参数数量模型的训练中，MI250每GPU训练吞吐量约在A100-40GB与A100-80GB的80%与73%之内。

预期随着超微软件的改进，这一差距还会缩小。汤汉林表示，对于大多数（机器学习）芯片业者而言，软件往往是致命弱点，但超微在这方面做得相当好。

汤汉林并表示，在使用MosaicML自家PyTorch工具和超微软件来训练LLM时，并不需要修改任何代码库。如果开发者能够以适当的价格取得超微芯片的话，那就可以立即转向采用这些芯片，因为这些芯片基本上可与NVIDIA芯片互换。

对于MosaicML所公布的实测结果，超微表示，该研究报告强化超微对于采用该公司芯片进行AI训练和推论时，所采取的开放和兼容软件生态系策略。超微并表示，将会继续与MosaicML合作来调整软件。

至于NVIDIA，则是对该报告表示不予置评。

MosaicML由曾任英特尔（Intel）AI产品负责人的Naveen Rao，与曾任AI实验室高级主管的Hanlin Tang于2021年共同创立，为不具备AI能力的中小型企业，提供加速与最佳化AI演算法效能的软件即服务（SaaS）服务。该公司甫于日前与知名数据分析与AI独角兽业者Databricks达成收购协议，由Databricks出资13亿美元收购MosaicML。