AI晶片新创打造Grayskull 号称性能超前

2016年许多经验丰富的运算设计新创投入先进晶片开发，多年后相继端出成果，而且还让人们了解到人工智慧(AI)确实能颠覆运算的本质，而新型态的运算技术也将反过来改变AI程式设计方式。总部位于加拿大多伦多的TensTorrent是其中之一，近日在Linley Group举办的「Spring Processor Conference」发表首款「Grayskull」晶片，用于加速推论工作，预定在2020年秋开始生产。

TensTorrent创办人Ljubisa Bajic曾任职于NVIDIA和超微(AMD)等知名晶片企业，2016年获得传奇晶片设计师Jim Keller赞助创办公司，目前为止已从多个投资者筹募3,400万美元，其中包括Eclipse Ventures和Real Ventures。TensTorrent在矽谷和德州奥斯汀设有办事处。

Grayskull锁定一些深度学习模型为竞争对手，例如BERT、OpenAI的GPT2，甚至更新的NVIDIA「Megatron」和微软(Microsoft)的「Turing NLG」等。Bajic表示，在市场脱颖而出的关键是让产品效能大幅冲高。

若产品效能仅比NVIDIA产品高出2倍，而且基本上还是工程样本，仍不足以说服客户舍弃NVIDIA。Bajic透露，TensTorrent的目标是比NVIDIA产品效能高出10倍以上，而且能将此优势延续数年，如此客户就会自动上门。

Linley Group分析师指出，比起NVIDIA和Google工程师创办的Groq的晶片，Grayskull的效能相对出色，而且执行标准AI任务比市面上其他产品更有效率。例如Grayskull能在消耗75W功率的情况下，执行每秒368兆次操作，NVIDIA和其他晶片达到同样的速度功耗达300W。

对整个运算领域而言，Grayskull结构有着发人深省的特别之处。Grayskull采用晶载记忆体(on-chip memory)的模式，搭载的SRAM记忆体容量达120 MB，相较之下NVIDIA的Titan RTX仅18MB。

NVIDIA仍使用将GPU连接到外部记忆体的方式，TensTorrent和其他新创则偏好更快的晶载记忆体，例如Groq的「TSP」晶片记忆体约是Grayskull的2倍，达220MB，目前最大容量晶载记忆体出现在Cerebras的晶片上，其WSE晶片晶载记忆体容量达18GB。

与此同时，晶载记忆体也能降低使用外部记忆体经常发生的重复性，省略批次(batching)处理的步骤。TensTorrent、Groq和Cerebras三家企业希望藉由晶载记忆体结构来强调「稀疏性」(sparsity)，也就是每一个输入到神经网路的指令由晶片上个别独立处理，对机器学习发展而言，这是一个具有潜力的新趋势。