AI晶片大军来袭(下)

接续前文：AI晶片大军来袭(上)

儘管DNN可以比人类更精确地辨识影像，但Khosrowshahi说：「但当今的资料科学家被迫花费庞大的时间对数据进行预处理、对模型和参数进行迭代，并且等待训练的匯整......每一步不是过于劳累就是过度运算密集。」

总的来说，「人工智慧的问题仍然非常困难。」他补充说，「最优秀的研究人员可以让机器人打开一扇门，但拿起杯子可能比赢得Alpha Go更困难。」

在这种环境下，Facebook和Google等网路巨头发佈了大型资料组合，以吸引更多的人致力于更尖端的问题，例如视讯等新应用领域或数据类型的辨识问题。

扩展应用领域

随着演算法发展，研究人员也在推动深度学习的应用领域。

Google旨在系统地将DNN应用于解决各种问题，从辅助盲人的自动字幕图片、阅读核磁共振成像(MRI)扫描结果，一直到监测厂房的品质控制等。Google人工智慧研发负责人李佳(Jia Li)在IEEE研讨会上表示：「人工智能不是一项技术或产品。我们需要开始理解一个领域，然后收集数据、找到演算法，并提出解决方案。每一个新问题都需要一个不同的模型。」

事实上，人们正将DNN应用于几乎所有领域，包括设计和製造晶片。英特尔编製了四十多种可能用途的清单，包括从消费者网上购物辅助到华尔街(Wall Street)自动交易的程式等。

Target公司资料科学家Shirish Tatikonda更进一步剖析这一应用领域。大部份的零售商资料都是关联性数据，而不是最适合神经网路的非结构化数据。Shirish Tatikonda也曾经是IBM研究人员，他在接受採访时表示，Target的业务问题中只有大约10%适用于DNN。儘管如此，该公司正积极开拓这一领域，其系统中约有10%是针对训练神经网路模型的GPU伺服器。

为了扩大这种巨大的努力，Google的研究人员开始探索其所谓的AutoML。这个想法是使用神经网路自动产生模型，而不需要数据科学家手动调整。

儘管最近的许多努力试图缩小记忆体佔用空间，但是DNN模型在尺寸上仍然差别很大。(来源：Qualcomm)

机器人技术先驱Rodney Brooks担心，这一期待可能会落空。他在最近的一次谈话中说：「深度学习是好的，但它开始成为一个锤子，让人们可以用它去打碎一切东西。」

Patterson则仍对此表示乐观。他说，虽然广泛的AI领域没有达到过去的承诺，但它在机器翻译等领域的成果是真实的。「可能在所有容易实现的目标都达成后，人们会发现没有什么更令人兴奋的事情了，但你现在几乎每个星期都会看到新的进展......所以我认为未来将会发现更多的AI用途。」

首度致力于软体融合

在早期的狂乱和分散中，即使是致力于软体融合的工作也很零散。百度(Baidu)的AI研究团队进行了一项调查发现，有11项措施是用于弥补神经网路竞争软体架构之间的差距。

目前最有前景的是开放神经网路交换(ONNX) 格式，这是一个由Facebook和微软开始的开放来源计划，亚马逊(Amazon)最近也加入了。该小组在12月发佈了ONNX格式的第一版，旨在将用十几个竞争软体架构中任何一个创建的神经网路模型转换成图形表示。

晶片製造商可以在结果图形上定位其硬体。这对于那些无法编写独立软体来支持竞争模型架构的新创公司来说是个好消息，例如Amazon的MxNet、Google的TensorFlow、Facebook的Caffe2以及微软的CNTK。

由30多家主要晶片供应商组成的团队于12月20日发佈其首选——神经网路交换格式(Neural Network Exchange Format;NNEF)。 NNEF旨在为晶片製造商提供创建自家内部格式的替代方案，就像英特尔的Nervana Graph，以及Nvidia的TensorRT平台一样。

百度还发现了ISAAC、NNVM、Poplar和XLA等多种格式。百度硅谷AI实验室资深研究员Greg Diamos表示：「想知道是否会出现一个成功的格式，现在可能还为时过早，但我们正走上一条更好的路，其中之一最终可能会胜出。」

在AI架构中，亚马逊声称其MxNet架构和新兴的Gluon API能提供最佳效率(来源：亚马逊)

另外，Google已经开始使用软体来自动化精简DNN模型的过程，使其得以执行从智慧型手机到物联网(IoT)节点的所有事情。如果成功的话，可望将50Mbyte的模型降低到500Kbyte。

Google也在探索如何在手机上进行有限的模型训练，方法是根据当天收集的数据调整模型的顶层或在夜间执行的流程。像SqueezeNet和MobileNet这样的业界行动也同样展现了更简单成像模型的路径。

负责Google TensorFlow Lite计划的Pete Warden表示：「我们看到了大量使用机器学习的人们在各种各样的产品中大量涌现。「让每次运算的能耗降下来这件事，让我每天工作到深夜。」

展望未来

当专家细看AI的未来时，他们看到了一些有趣的可能。

当今我们使用基于手动调整模型的监督式学习。Google的研究人员Warden也看好不久将出现半监督方法，让手机等客户端装置自行处理一些学习。最终目标是无监督的学习——让电脑自己进行教育，而不再需要建造它们的工程师协助或为其编程。

在这条发展道路上，研究人员正设法自动标记数据，这些数据来自手机或物联网(IoT)节点等装置。

WD首度科学家Janet George说：「Google说现在我们需要大量的运算，在这个过度阶段，一旦事情被自动标记，你只需要检索新增的内容，这才更像是人类处理数据的方式。」，”

无监督学习打开了加速机器智慧时代的大门，有些人认为这是数位化的必杀技。另一些人则担心技术可能会在没有人为干预的情况下失望导致灾难。Google TPU计划负责人Norm Jouppi说：「这让我感到害怕。」

同时，从事半导体工作的学者对未来的AI晶片也有其长远展望。

Patterson说，英特尔、Graphcore和Nvidia「已经在製造全标线晶片，下一步就是3D技术。当摩尔定律发展如火如荼时，由于担心可靠性和成本问题，人们在看到复杂封装技术之前就临阵煺缩了。如今摩尔定律即将结束，我们将在封装方面看到许多实验。」

最终的竞赛是创造出新型的电晶体，可以在逻辑和记忆体层上堆叠。

美国圣母大学(University of Notre Dame)电气工程教授Suman Datta看好负电容铁电电晶体技术可能成为这种晶片的基础。他在最近召开的所谓的单体3-D结构会议上展望了该领域的前景。这一类设计应用以及3-D NAND快闪记忆体的进展都採用on-die晶片堆叠技术来实现。

来自美国柏克莱大学、麻省理工学院(MIT)和史丹佛大学(Stanford)的团队将在二月份的国际固态电路会议(ISSCC)上展示一种类似的先进技术架构。该晶片(下图)将磁阻式RAM (ReRAM)结构与碳奈米管製成的逻辑元件共同堆叠在晶片上。

美国柏克莱大学、麻省理工学院和史丹佛大学的研究人员将在ISSCC上报告一种使用碳奈米管、ReRAM和图案作为运算元素的新型加速器(来源：UC Berkeley)

该装置是从DNN获得灵感，并且被编程为近似模式，而非目前电脑所使用的确定性数字。发表该技术论文的UC Berkeley教授Jan Rabaey说，这个所谓的高维度运算模式使用了几万个维度的向量作为运算元素。

Rabaey说，这种晶片可以从例子中学习，并且比传统系统所需的操作更少得多。其测试晶片将很快问世，它使用振盪器阵列作为类比逻辑元件，并与相关记忆体阵列中ReRAM单元搭配运作。

Rabaey在IEEE AI研讨会上表示：「我梦想的引擎是可以随身携带，现场为我提供指导......我的目标是推动AI以小于100mV运行。我们需要重新思考如何运算，并从基于演算法的系统转向基于数据的系统。」