做大AI规模的四字秘诀——垂直整合

自2015年左右AI热潮从学术界转向产业界，在近6年的时间里，AI已经越来越多地应用到各个领域，但在实际落地的过程中也遇到了各种挑战，这也导致了过去三两年间，整个业界对于AI的关注弱了很多。

如何实现AI的规模化发展？英特尔研究院副总裁、英特尔中国研究院院长宋继强认为，AI产业创新已经到深水区，要更深入地理解如何利用基于数据驱动的人工智能带来的福利，把产业规模化扩展作为重要发力点。垂直整合、应用驱动是真正可以让AI把算法创新、硬件创新落到实处，并且是形成一个迭代的滚动放大效应的必由之路。

英特尔院士、大数据技术全球首席技术官、大数据分析和人工智能创新院院长戴金权也向雷锋网表示，AI的落地是一个系统工程，AI的数据和模型在不断更新，在落地过程中总是解决一个问题才会有新的问题，解决了关键问题才能实现价值。 

先数据，再AI

AI的发展需要算力、算法、数据三大要素。宋继强认为，这一波的AI热潮是由数据驱动的。他在WAIC 2021的演讲中指出：“从量的角度，大量的数据由原来靠人产生，变成由终端、自主设备产生。从质的角度，很多数据不再是结构化数据，也不再是人可以根据固定的数据结构产出，然后用编程去处理，必须依靠AI算法去处理。”

戴金权进一步从大数据的角度说明了为什么业界需要AI。从2006年处理大数据集的Hadoop开源，业界最早关心的是如何存储处理更多的数据。这个问题后，下一个问题是分析数据，再之后的关注点是数据实时分析。

发展到今天，关注的重点变成了如何在数据上建模、做预测，通过机器学习、深度学习等指导决策或预测未来的趋势。所以，大数据AI软件平台成为了解决大数据发展的关键。

“经过过去十多年数据的积累，许多企业在数据的架构，以及数据平台上已经积累了一定的能力和数据资产。这时候，他们在现实场景有非常多的应用需求要提升效率，更好的AI软硬件平台能够帮助他们提升效率，所以越来越多的公司开始使用大数据AI。”戴金权表示。

但AI的应用面临重重挑战，第一个问题是否有数据，以及数据是否有标签。有了数据，需要明确要解决的问题。但这还不够，在这个基础上，要做一个实际落地的项目，需要把算法和大数据系统打通。

“很多时候，算法和大数据系统其实是割裂的，只有解决割裂的问题，才能构建出端到端的模型。还有，日常运行的过程中，不断会有数据和模型的更新。”戴金权指出。

“实现AI的必由之路就是超异构计算，也就是英特尔一直提的XPU战略，用不同的架构处理不同类型的数据，根据处理速度的要求、带宽的要求去优化。”宋继强表示。

那什么是超异构？异构是一个很早的概念，如今已经比较常见的SoC就是一个异构的系统，包含CPU、GPU、DSP等IP。还有一种常见的异构是板级异构，将CPU、GPU、FPGA等集成到一块电路板上。

“超异构计算是要体现出它是‘下一个等级’。在一个异构系统中，许多人都忽略了软件层，但事实证明如果软件层没有优化好，底层的硬件再强大也意义不大。所以超异构的‘超‘意思是要把封装能力考虑进去，同时要考虑软件。”宋继强解释。

硬件超异构

在这一轮的AI浪潮中，可以看到算法不断驱动硬件性能的提升，有时甚至成为AI快速提升的阻力。此时，已有处理器性能的提升和计算架构的创新都非常关键。CPU是英特尔的看家本领，为了满足AI的需求，英特尔的CPU也采用了异构的方式，在至强处理器中加入了专门的深度学习加速器件，还有可扩展的一些配置。集成AI的至强处理器让通用服务器性能已经提升了46%，AI性能提升了74%。

创新的计算架构能够满足更高的AI需求，比如神经拟态计算，也叫类脑计算。神经拟态计算最大的优势是能效比，比如原来可能需要两千瓦的电才能处理的任务，使用神经拟态计算芯片只需要几十毫瓦或者几百毫瓦，整体的效率是现在深度学习加速芯片的1000倍，符合绿色可持续发展的需求。

但传统以及新型处理器的计算能力提升后，随之而来的是更多的数据交互，包括处理器之间以及跨服务器节点。此时，I/O就成为瓶颈，这种瓶颈包括尺寸和功耗。

“我们认为光是替代铜的非常好的互连的介质，但光器件体积比较大，光电转换也比较困难，效率不高。英特尔从几个方面解决这个问题，首先是把光器件与电器件紧密的封装在一起，让它们靠近，减少两端转换的损耗；其次是制作收发器，以更小的模式放到服务器当中。”宋继强表示。

计算和I/O的问题解决之后，要实现不同类型的处理器、存储器件的异构集成，就需要先进封装技术。在这一技术领域，英特尔有EMIB 2.5D的封装技术。用一个形象的比喻解释这种技术，就像在两个平房间去嵌入下水管道将它们连通起来。

“如果想更好地利用三维空间，就可以在多层上把计算的晶圆互连。英特尔的Foveros 3D封装技术的优势是可以实现计算晶圆间的互连，而不只是在计算的晶圆和存储晶圆之间互连，可以让很多新的芯片很好地进行互连，包括英特尔最新架构的类脑芯片也可以和传统的CPU、GPU互相组合。”宋继强指出。

硬件实现了异构，还需要软件发挥异构硬件的优势，才能实现超异构。对于现在的软件开发者来说，大都只熟悉CPU、GPU或FPGA的开发模式，硬件的异构集成，让开发者很难发挥XPU的硬件优势。

宋继强介绍，英特尔的方案是，联合企业合作伙伴一起推出了开放的软件平台oneAPI，这个平台是一个开放的产业联盟，有四五十家企业和大学都在联盟里。软件开发者来只需要学习Python或者是只学C++，通过oneAPI就可以利用到异构集成的优势，M种硬件和N种性能库和结合将会是M乘以N的倍数提升。如果未来硬件升级替代，软件也只需要少量的改动就可以发挥硬件升级带来的提升。

AI方案垂直整合 

对于企业来说，如何利用两个割裂集群的工作流，实现效率的提升是非常大的问题。“我们希望通过Analytics Zoo，把一个割离的架构或者是割离的工作流统一在一起。有了统一的大数据AI集群，就可以在集群上直接处理数据仓库中的数据，然后进行大规模分布式数据处理，在这个基础上运行各种AI算法。”戴金权说。

实际上，英特尔2018年推出开源软件Analytics Zoo的第一个版本时，要解决的是如何在大数据平台上把深度学习的算法无缝的进行分布式扩展，这时候BigDL、OCR都可以用于解决这一问题。

“当用户需要把AI落地时，解决了扩展的问题之后，如何更加自动化、更高效地处理数据和建模，需要AutoML的支持。比如一些时间序列分析，可以利用AutoML，实现从数据的处理，包括产生的特征，特征选取，再到模型选取，模型参数调整的端到端平台。”戴金权介绍。

韩国最大电信公司SK电讯就通过与英特尔的合作，就是通过时间序列分析，垂直整合实现效率提升的典型例子。SK电讯需要对4G、5G基站进行网络质量的监控、预测、报警灯工作，而一个城市中可能有几十万甚至更多基站，借助人工显然不能实现很好地监控。为此，SK电讯使用Analytics Zoo构建了一个时间序列的处理分析，将数据处理，深度学习的训练、推理、使用构建了一个统一的流水线，运行在统一的大数据Spark集群上。

“构建这样一个端到端的流水线，带来了非常大的端到端的性能提升。AI推理的性能有3倍以上的提升，AI训练有差不多30%-50%的性能提升。”戴金权说。

其实，英特尔子公司Mobileye也是通过垂直整合发挥AI价值的一个典型例子。Mobileye主要做自动驾驶的ADAS系统，原来只做计算机视觉的算法，整合芯片提供后装ADAS设备。如今，Mobileye已经发展出垂直整合的一套方案，包含定制的、专门架构的数据系统，有不同的计算架构，也有一些新的传感器。

通过与全球100多家车厂的合作，垂直整合的方案利用足够的数据后，能够对这些信息做抽象归纳，利用很小的数据量但可以进行很好地辅助驾驶决策。

“我们在底层水平功能的基础上构建非常多针对更多垂直场景的支持，帮助用户来更容易、更快地去搭建应用，包括AutoML的场景，针对时间序列分析的场景，还有PPML(Privacy Preserving Machine Learning)针对隐私保护的场景。”戴金权进一步解释关于AI的隐私保护。

“隐私保护无论是从个人需求还是合规的角度，都是AI应用的一个痛点。不同的安全需求和不同的安全路线。英特尔通过SGX，在CPU中有内置的安全功能，在此之上通过软件安全技术提供大数据AI安全平台实现不同的场景支持。”

联邦学习的方式面向的主要场景是希望数据不出企业的防火墙。可信平台的技术是利用软硬件的技术提供安全保护，让数据不管在计算、存储网络中，都能在公有云或者私有云中提供安全保护。