SambaNova发表140核心AI芯片 采台积5纳米制程

SN40L配置140颗针对AI应用优化过的运算核心，搭配高速存储器。SambaNova Systems

美国人工智能（AI）训练与推论芯片设计企业SambaNova Systems，近期发表一款采用自我配置技术的AI处理器，以台积电5纳米制程生产，当中结合140颗运算核心以及高速存储器，是专为参数达到上万亿规模的大型语言模型（LLM）而设计，希望满足企业级AI模型应用需求。

综合Silicon Angle与路透（Reuters）报导，在这款名为SN40L的处理器当中，包含了两颗小芯片（Chiplet），其中总共配置140颗针对AI应用优化过的运算核心。而搭配支持这些核心的存储器电路共有3组，容量总计超过1.5TB。

第一组记忆池为容量520MB的SRAM，是直接嵌入在处理器当中，因此较小型的模型可以全部储存在靠近运算核心的SRAM当中，以减少存储器与核心间的数据传输距离。

第二组则是1.5TB的DDR5存储器，与处理器相连而非嵌入其中，可用于支持大型模型。最后一组则是作为额外附加配置的64GB HBM3高带宽存储器，速度又比DDR5更快。

存储器方面的不足，有时会令AI数据处理面临一定的限制。SambaNova表示，透过这样的硬件组合，希望让客户在运作尺寸较大的AI模型时，能够不必为了追求精确性，而牺牲掉模型的尺寸。

相较前一代产品，SN40L除了透过增加核心数，以及将制程技术从7纳米节点升级到5纳米节点来提升效能以外，还采用了SambaNova称之为「可重组数据流架构」的技术。这项技术可协助处理器针对AI模型进行分析，并自动描绘出AI模型内部结构的样貌。在参考这些分析得来的数据以后，SN40L就可以进行自我配置（Self-configuring），以尽可能地提升模型的运作效能。

据SambaNova估计，若是要驱动一个参数数量达到5万亿规模的AI模型，则即便是最先进的GPU，也得用到192颗，但若使用SN40L的话，只须一个服务器机柜当中搭载8颗即可，能够大幅节省成本。

SambaNova会先将SN40L放上SambaNova Suite云端服务平台提供客户使用，之后再推出搭载这款处理器的DataScale系统产品，让客户进行本地部署。DataScale系统中除了多颗SN40L以外，还配置了网络设备、数据储存装置与其他负责支持的零件。若是有重度AI工作负载需求的客户，也可以将多个DataScale系统结合成一个运算丛集。

SambaNovaCEORodrigo Liang指出，与消费级AI软件如ChatGPT聊天机器人不同，大型企业若想要以创新方式来运用AI，往往需要考虑到更加复杂的因素。为满足企业客户需求，诸如安全性、精确性与隐私等方面的设计，都必须有所不同。

目前AI芯片市场是由NVIDIA独霸，但是AI热潮带动需求急速成长，却也令NVIDIA产品出现供不应求的情况，因而给了英特尔（Intel）或超微（AMD）这类老牌半导体竞争对手、或像SambaNova这样的新创企业填补市场供需缺口，以及挑战NVIDIA主导地位的发展机会。

责任编辑：毛履万亿