LLM推论芯片效能 NVIDIA夺冠 英特尔居次

AI蓬勃发展，为半导体产业带来庞大商机，市场竞争也愈发激烈。李建梁摄（数据照）

人工智能（AI）芯片组效能基准测试组织MLCommons，近日就各家厂商的硬件产品运行AI大型语言模型（LLM）推论工作负载的速度，首次发表评比结果，其中NVIDIA夺得第一，英特尔（Intel）紧随其后。这显示，早已在AI训练领域占据主导地位的NVIDIA，其产品在推论应用上也有很大的优势。

综合路透（Reuters）与Silicon Angle报导，这项新的MLPerf推论3.1基准测试，模拟的是AI数据处理当中的推论部分，以一款名为GPT-J 6B的大型语言模型为基础进行。GPT-J 6B模型的参数规模达到60亿个，是专门被设计来执行美国CNN以及英国每日邮报（Daily Mail）所出版的新闻文章的摘要总结工作。

在这项测试当中，NVIDIA提交参赛的硬件系统包括HGX 100，是以8颗最新一代Hopper架构H100旗舰级GPU为基础所构成。另外，还有结合Grace CPU与Hopper GPU于一身的GH200超级芯片。作为冠军，NVIDIA自豪表示，这显示对于所有工作负载而言，NVIDIA的产品都能提供领先的效能优势。

另根据Crn报导，NVIDIA近期之内就会推出一款名为TensorRT-LLM的开源软件，若以H100 GPU而言，该软件据称能够在市面上几款主要的大型语言模型进行推论工作负载时，将H100的运作效能再提升一倍。

延伸报导NVIDIA推新软件 称助H100模型推论速度翻倍

帮助英特尔抢下亚军席次的系统，则是由英特尔在2019年收购的Habana Labs所开发的Gaudi 2芯片组成，推论速度上只比NVIDIA系统慢了大约10%。英特尔对于Gaudi 2在价格效能比方面的优势非常自豪，强调系统价格比NVIDIA还要便宜，约略是NVIDIA前一代A100系统的水准，不过并未透露Gaudi 2的具体价格。值得注意的是，NVIDIA Hopper GPU采更先进的5纳米制程技术，Gaudi 2则为7纳米。

与NVIDIA欲以开源软件强化效能一样，英特尔也表示，随着系统稍后就FP8精度量化进行更新，将带来2倍的效能提升，届时AI推论速度会更快。

英特尔CEOPat Gelsinger曾坦承，对于AI加速器市场，在最刚开始的时候态度欠积极。不过，随着Gaudi产品线开始引起市场关注，潜在客户群的建立，就进行得非常迅速。如今Gaudi 2已大量出货，Guadi 3则预计在2024年推出，至于2025年的产品开发工作也已进行当中，「我们正在开始对市场产生影响力」。

其他参与评比的，还包括Google最新一代TPU，以及强调低功耗、同时效能也相当强劲的高通（Qualcomm）Cloud AI100芯片组等。

责任编辑：毛履万亿