超英伟达A100，IBM宣布全球首个7nm训练推理节能芯片

机器之心报道

机器之心编辑部

在AI计算机训练与推理领域，存在着这样一种理念：如果计算需求很大，那么为其提供动力所需的能量也将很大。这种理念也被该领域广泛接受。那么有没有可能开发出一种既可以显著提升计算能力又无需消耗过多能量的方法呢？IBM在顶会ISSCC上介绍了一种7nm训练推理节能芯片。

自动驾驶汽车、文本转语音和送货无人机，这些都是人工智能的典型应用。为了不断推动AI淘金热，人们一直致力于改善AI硬件技术的核心，即赋能深度学习的数字AI内核，它是人工智能的关键推动力。

在该领域的深入探索中，IBMResearch通过材料、设备、芯片架构和整体软件堆栈方面的创新，在适应AI系统的负载复杂性以及简化和加速性能方面取得了长足进步，从而推动具有尖端性能和无可比拟能效的下一代AI计算机系统的开发。

近日，在2021年国际固态电路虚拟会议（ISSCC）上发表的一篇新论文《A7nm4-CoreAIChipwith25.6TFLOPSHybridFP8Training,102.4TOPSINT4InferenceandWorkload-AwareThrottling》中，IBM团队详细介绍了全球首个采用7nm技术进行低精度训练与推断的节能AI芯片。通过其新颖的设计，该AI硬件加速器芯片支持多种模型类型，同时在所有模型类型上均实现了领先的能效。

IBM表示，通过令训练更靠近边缘以及使数据更靠近来源，这一芯片技术可以扩展并用于多种商业应用，从云上的大规模模型训练到安全隐私服务。此外，这种高效节能的AI硬件加速器可以显著提升计算能力，包括混合云环境中的计算能力，并且无需大量的能源。

AI模型的复杂性和适应性正在迅速扩展，现已用于药物发现、遗留IT应用的现代化以及为新应用编写代码等。但是，AI模型复杂性的快速演化也增加了该技术的能耗，并且面临的一个主要问题是如何创建复杂的AI模型而不增加碳排放量。从历史上看，该领域已经接受了这样一种理念，即如果计算需求很大，那么为其提供动力所需的能源也将很大。

IBM想要改变这种理念，开发出一种既可以显著提升计算能力又无需消耗过多能量的全新节能AI硬件加速器。

如何实现

这篇ISSCC论文聚焦如何创建针对所有不同AI模型类型的低精度训练与推断进行高度优化的芯片，且该芯片在应用层面上对质量不造成损害。

IBM4核AI芯片图示。

IBM展示了该新芯片的多种新特性：

IBM表示这是首个集成了超低精度混合FP8(HFP8)形式的硅芯片，可以SOTA硅技术节点（7nmEUV-based芯片）训练深度学习模型。在所有不同精度条件下，其原始能效是最优的。下图2展示了IBM芯片性能与能效超过其他专用的推断和训练芯片。

图2：该研究与其他工作的数据对比。

从上图中，我们可以看到IBM将该7nm芯片与多款芯片做了对比，包括阿里巴巴12nm的芯片以及英伟达的A100。

但这并不是全部。它还是将电源管理整合到AI硬件加速器中的第一批芯片之一。该研究表明，通过放慢高功耗计算阶段的速度，可以在芯片的总功耗预算内最大化其性能。

最后，芯片除具有出色的峰值性能外，还具有可转化为实际应用性能的高持续利用率，这也是该芯片提高能效的关键部分。作者称，与远低于30％的典型GPU利用率相比，该芯片可实现80％以上的训练利用率和60％以上的推断利用率。

应用前景广泛

IBM研究员表示，这一新的AI核与芯片可用于多种跨行业的云与边缘应用。例如，相对于当前行业中使用的16位（bit）和32位格式，该芯片可用于8位视觉、语音和自然语言处理的大规模深度学习模型云训练。它们还可用于语音到文本AI服务、文本到语音AI服务、NLP服务、金融交易欺诈检测等云推断应用程序。

自动驾驶汽车、安全摄像头和移动电话也可以从中受益，该芯片可以方便地在边缘设备上进行联邦学习，以实现定制化，保护客户的隐私、安全性和合规性。

作者希望通过这项工作建立一种全新的方式，来创建和部署可扩展性能并降低功耗的AI模型