国际测试委员会发布国际上第一个智能超级计算机榜单

11月3日消息 近日，国际测试委员会（BenchCouncil）在2020青岛创新节期间举办的的智能计算机大会和芯片大会联合主论坛上发布了国际首个智能超级计算机榜单HPC AI500。日本富士通公司夺得榜首，腾讯公司位列第四，中日美三国公司包揽榜单前九。

通过科学合理的实验，HPC AI500榜单从人工智能性能评价标准AIBench中选取了最能代表智能超算应用场景的测试程序：图像分类和极端天气分析（目标检测）。考虑到模型精度在人工智能领域的重要性，HPC AI 500使用每秒有效浮点操作数（VFLOPS）作为主要的性能指标, 该指标是一个兼顾系统性能和模型精度的指标。除了VFLOPS，HPC AI500同时还使用训练人工智能模型所需时间和相应模型所能达到的精度作为辅助指标。

榜单显示，来自日本富士通公司推出的智能超级计算机系统以每秒3.141亿亿次的有效浮点运算速度位列榜首。排名第二和第三的智能超级计算机系统分别来自美国谷歌公司和日本索尼公司，由中国腾讯公司推出的智能超级计算机系统则排榜单第四位。榜单上前三的智能超级计算机系统均通过使用大规模的人工智能加速器（如GPU，TPU等）和相应的高性能算法来提高人工智能的性能。折桂的日本富士通公司的智能超级计算机系统使用了多达2048块的Tesla V100GPU，并提出了新颖的通讯算法来优化不同层次。

此外，国际测试委员会（BenchCouncil）还发布了智能芯片性能榜单，对近20款主流人工智能芯片配置进行了性能排名。该排行榜基于最新的人工智能性能评价标准AIBench。AIBench旨在客观公正、综合全面地评价当前蓬勃发展的各类人工智能系统，引领人工智能系统的研发走向正确的方向。它包含3个互联网人工智能场景和17个人工智能任务，能够反映真实的人工智能应用场景，由国际测试委员会（BenchCouncil）联合阿里、腾讯、微软亚研、Paypal 等国内外17家知名互联网企业共同发布，是目前最全面的人工智能性能评价标准。

智能芯片性能榜单对多种硬件做了性能排名，对芯片购买方有借鉴意义，也对智能芯片的设计方向具有参考价值。对于图像分类负载，Google出品的 TPU 性能达到英伟达GPU的8倍以上，但是通用性不及英伟达 GPU，在部分负载上软件开发者需要对其做针对性的优化，会带来额外的开发成本。同时榜单中可以看出，Facebook主导的开源软件框架Pytorch 虽然支持 TPU，但是性能很差，尤其是 I/O 利用率远不及 Google 主导的软件框架Tensorflow，导致 TPU 无法发挥全部性能。目前国内很多厂商在智能芯片上的投入很大，但是却忽视了与软件开发框架的协同优化。Google对TPU和Tensorflow的软硬件协同设计与优化值得国内智能芯片厂商借鉴和学习。

另外，记者获悉，2020年国际测试委员会成就奖和新星奖于10月31日揭晓。明尼苏达大学David Lilja教授和苏黎世联邦理工大学Torsten Hoefler教授分别获得成就奖和新星奖。

国际测试委员会发布面向现代负载的CPU性能评价标准。发布现代负载的性能评价标准BENCHCPU，旨在引导芯片产业转向现代计算机应用负载的新赛道，从而寻求新的突破。

针对现代应用负载特征，BENCHCPU采用层次化分析方法，从应用程序运行的计算逻辑、执行逻辑、实际执行三个层次对现代应用负载进行评测。BENCHCPU融合了现代应用负载与传统应用负载。现代应用负载主要为人工智能推断程序、大数据分析程序， 传统应用负载主要为编译、压缩、仿真等应用集合。这些应用程序可以在多类处理器平台上部署运行。BENCHCPU还会进一步扩展应用负载范围，并在计算逻辑层进行负载精简，推出评价标准测试集合。同时定义规范的测试流程，开展基于BENCHCPU的公开评测。

国际测试委员会（BenchCouncil）呼吁更多的工业界和学术界伙伴加入BENCHCPU项目。