AI超级电脑挑战人脑规模 Graphcore携台积电WoW技术迎战

作为人工智能(AI)芯片业界的新生力量，2016年在英国正式成立的Graphcore，技术发展与科技愿景皆备受瞩目，曾获得包括博世(Bosch)、戴尔(Dell)、三星电子(Samsung Electronics)、BMW、微软(Microsoft)等全球知名电子或汽车供应链大厂投资，并在2018年以估值17亿美元宣布成为独角兽。

Graphcore对AI领域现状的挑战，至少可归结为两大方向：第一、要在AI加速器硬件市场霸主NVIDIA的GPU技术路线以外，「从零开始」设计AI芯片，并逐步描绘出超越人脑的AI系统蓝图；第二、在效能与精确度之外，也要追求AI运算的能源效率，达成环境友善、永续发展的目标。在这2个方向上，从第一代产品开始一路合作的台积电，都是不可或缺的角色。

Graphcore相信，专为AI运算开发的全新智能处理器(Intelligence Processing Unit；IPU)，终将成为机器智能运算业界的标准，有望贡献在新药开发、灾难重建与减少碳排放等各个领域。Graphcore首款IPU Colossus MK1 GC2于2017年7月发表，采用台积电16纳米制程，2颗芯片封装在单一PCIe卡上的产品则称为C2。

AI模型训练耗能怪兽　环境污染议题渐受重视

AI科技发展之路确实有着重重险阻，随着模型与运算规模愈趋庞大，能源消耗量也与日俱增。OpenAI估计，训练AI系统所需运算量，在2012～2019年翻倍的速度，是1959～2012年AI领域萌芽期的7倍。机器学习(ML)的外部成本，包括对环境的冲击，受到愈来愈大的瞩目，其中特别是具有多层互连节点神经网络的深度学习(DL)，更是如此。

学界已有呼吁，应加大投入绿色AI(Green AI)的研究，将效率一同列入主要指标，而非只在意运算精确程度的改善与否。毕竟，AI科技的最大愿景之一，就是透过科学研究，帮助人类缓解难以逆转的全球暖化趋势，若不解决运算能源使用效率问题，透过AI保护环境的初衷即已丧失。

在业界方面，美国麻省理工学院(MIT)与台积电、ADI、ASML等芯片产业相关业者签约，在MIT AI硬件计划(MIT AI Hardware Program)下，以能源效率为最主要目标，共同开发新一代的ML与量子运算系统。这项产学界的合作，同样凸显环境议题对AI发展的重要性。

新硬件的开发已是刻不容缓。受到瞩目的数据中心运算架构趋势之一，即是从一般通用的CPU，往各类专用加速器的转移。AI加速器会针对特定的AI应用开发，通常采多核心设计，以低精度算术或存储器内运算为着力点，提升大型AI演算法的效能，并在NLP或机器视觉等领域导出更好的成果。

举例来说，Google在2017年分享为AI推论设计的第一代张量处理器(TPU)信息时曾提到，以利用神经网络推论的生产性AI工作负载来说，TPU的速度不仅是当时的GPU与CPU的15～30倍，能源效率也有30～80倍的改善。Google认为，若少了TPU的存在，DL模型的运算成本会变得非常庞大。TPU自2015年起开始应用在Google数据中心当中，如今已发展至第四代。

Google与加利福尼亚大学柏克莱分校合作，针对搭配NVIDIA V100 GPU的GPT-3，以及搭配TPUv3的4个大型Google NLP模型的2021年研究成果显示，除了演算法与数据中心品质的改善以外，诸如TPU之类的的定制化硬件投入应用，也是提升模型训练效率与降低碳排放的重要因素。

WoW先进封装制程　台积电助攻低功耗挑战

Graphcore开发出的独特加速器，即IPU，同以提升AI训练效能与降低功耗为目标。最新一代IPU以东伦敦地名Bow为名，采用台积电N7制程。相较同采N7制程的前一代产品Colossus MK2 GC200，Bow在处理核心数与处理器内建存储器容量维持不变的情况下，竟能将神经网络训练速度提升40%，达到350 TFLOPS，同时效能功耗比也改善16%，关键就在于创业界之先导入的台积电3D堆叠晶圆(Wafer-on-Wafer；WoW)先进封装制程。

具体来说，Bow是由1片晶圆负责制作配置1,472颗IPU核心与900MB存储器的AI处理器裸芯片。至于另一片晶圆，则负责制作供电用裸芯片，但上面并无晶体管或其他主动元件，而是导入电容器与TSV技术。其中，TSV负责在供电芯片与处理器之间传输电力与数据，而电容器则如同DRAM的位元储存元件一般，由矽芯片上深而狭窄的沟槽所形成。正是多亏这颗供电裸芯片与AI处理核心以及存储器的紧密结合，Bow才得以大幅提升电力传输的效率，减少能源浪费，并提升AI运算效能。

这种堆叠技术常有发热密度过高的问题，但Graphcore认为，Bow的低功耗特性，在某种程度上可以加以弥补。另外，WoW也存在良品裸晶圆(KGD)的困扰，因为键结2片晶圆，导致瑕疵芯片数量翻倍。Graphcore在某种程度上放任这个问题发生，因为如同部分其他AI处理器一般，IPU是由许多重复而显得冗余的处理器核心，以及其他部分所组成，任何有瑕疵而无用的地方，都可以从IPU中剔除。

半导体产业正迈入先进封装时代，透过多个裸芯片共同封装，补足因摩尔定律接近极限而难以经由制程微缩而提升的效能。大部分3D堆叠技术采用的是晶圆上芯片(Chip-on-Wafer；CoW)形式，即键合2颗小芯片时，其中之一尚未从晶圆切割下来，如超微(AMD)最新推出的第三代Epyc服务器处理器Milan-X，便是透过CoW技术将L3快取叠在处理器上，将快取容量提升为原来的3倍。Graphcore认为，相较于CoW，WoW可以进一步提升2个裸芯片之间的连接密度。

以16颗Bow组成的Bow Pod 16系统，不仅号称拥有5倍于NVIDIA DGX A100的效能，且价格仅为后者的一半。BoW IPU初期客户包括美国能源部下辖西北太平洋国家实验室(PNNL)，主要应用在网络安全与计算化学等领域。PNNL表示，Graphcore技术帮助实验室大幅降低AI训练与推论所需时间，从数日减至数小时。另外，云端服务供应商Cirrascale，则将Bow Pod用作Graphcloud IPU裸机服务的一环。欧洲业者G-Core Labs也会推出采用Bow的云端实例。

AI超级电脑群雄并起　效能比拼各家不甘落人后

随着AI系统运算需求与日俱增，也催生一批为此特别打造的超级电脑。2020年5月，作为10亿美元OpenAI投资案的初步成果，微软(Microsoft)宣布开发出搭载28.5万个CPU核心与1万个GPU的系统，运作于Azure平台上，被视为是朝向打造基础设施供大型AI模型训练之用的平台的第一步。NVIDIA在2020年6月亮相，以希腊神话月亮女神为名的Selene系统，负责支持AI研究，包括自然语言与电脑视觉模型训练等。目前位列TOP500榜单第6名。

近期，NVIDIA发布H100 GPU，采全新Hopper架构，以台积电4纳米制程生产，封装800亿个晶体管，同时也宣示在美国建置全新超级电脑Eos的计划，作为Selene系统的后继者，Hopper架构以黎明女神为名，搭载4,608个H100 GPU，预期AI效能会达到18 EFLOPS，号称将成为全球最快的AI超级电脑；Meta不久前公之于众的AI Research SuperCluster(RSC)，目前已经投入AI模型训练，系统在第一阶段先配备6,080个NVIDIA A100 GPU，但在2022年夏天完成第二阶段安装程序后，GPU总数将达到1.6万个，以Linpack基准测试来说，浮点效能预估将超过220 PFLOPS。

人人争抢第一名，不甘示弱的Graphcore也发下豪语，进一步利用WoW 3D堆叠技术，以此为基础打造全球数一数二强大的AI超级电脑Good。Graphcore在创建之初，虽以IPU开发为主要任务，但打造超越人脑的超智能系统的想法，也一直萦绕在内心深处：人脑拥有1,000亿个神经元，再加上轴突与高达上百万亿的突触权重(synaptic weight)；相比之下，今天最大型的神经网络模型参数仅在1万亿上下。

作为这项远大计划的重要一步，以英国数学家Irving John Good为名的Good超级电脑，预计在2024年问世，号称AI效能将超过10 EFLOPS，而这是Frontier超级电脑理论峰值效能2.4 EFLOPS的4倍之多。整台电脑将由512个系统组成，拥有4PB存储器与超过每秒10PB的带宽，每台造价约1.2亿美元，销售对象不只1家客户。

2021年8月，Cerebras Systems宣布开发出全球首台人脑级别的CS-2 AI训练超级电脑。CS-2搭载第二代晶圆规模引擎(WSE-2)芯片，采用台积电7纳米制程技术，号称为全球尺寸最大的单一芯片，拥有85万颗核心，芯片上的SRAM存储器容量为40GB，存储器带宽达到每秒20PB。

除了增加外部存储器系统以外，Cerebras也发展出将多个电脑互相连接的方式，将CS-2可训练的神经网络规模提升超过100倍之多，到达可支持120万亿参数模型的程度，并由法国企业TotalEnergies首次公开宣布使用在能源与碳排放等研究领域上。即便如此，Graphcore Good如果最终成功，将有望支持拥有超过500万亿个参数的AI模型，大大超越CS-2的成绩。

责任编辑：张兴民