边缘AI进入蓬勃发展期，ADI如何解决AI芯片落地难题？

来源:电子发烧友网发布时间:2022-12-11687浏览

电子发烧友网报道（文/李弯弯）随着物联网设备爆发式增长，海量数据将在边缘侧积累，边缘AI进入蓬勃发展期。Gartner预测，到2023年，将有50%以上的大型企业将至少部署6个用于物联网或沉浸式体验的边缘计算应用，并且到2025年，75%的数据将产生在边缘。

AI芯片作为实现边缘AI的核心，是承载AI的硬件基础。近年来，全球领先的高性能模拟技术公司ADI一直致力于将人工智能推向边缘端，为ML/DL真正融入边缘智能而努力。在产品方面，ADI推出了集成神经网络加速器的低功耗微控制器——MAX78000，成为高能效AI处理与超低功耗微控制器相结合的AI MCU重要典范。

MAX78000的性能优势和应用

MAX78000是一款超低功耗神经网络微控制器，内置硬件CNN加速器、双微核、存储器、SIMO和多通信接口，ADI公司资深业务经理李勇在接受电子发烧友采访的时候表示，该款产品在算力、功耗、延迟和集成度等方面实现了关键性能的平衡。

具体来看，MAX78000拥有专门的CNN加速器（搭载64个CNN处理器），支持最多64的卷积层数和1024通道数，权重存储空间为442KB（最大可支持350万个权重位）。支持AI网络实时更新，支持PyTorch和TensorFlow常规工具集训练。
MAX78000搭载了Arm Cortex-M4F和32位RISC-V两个MCU核心用于系统控制。其中Arm Cortex-M4F处理器以100MHz运行，客户可编写任何系统管理代码；RISC-V处理器的独特功能是支持以低功耗将数据快速加载到神经网络加速器，用户可使用任何一种微控制器内核将数据输入到卷积神经网络的引擎中。
MAX78000还具有低功耗、低延迟、低成本、高集成度优势。在低功耗方面，将硬件CNN加速器与超低功耗双微控制器相结合，相较于MCU+DSP解决方案，边缘AI定制的硬件加速器可将功耗降低99%以上。与运行在低功耗微控制器上的软件解决方案相比，在配置并加载了数据后，MAX78000运行AI推理的速度快了100倍，功耗却不到其1%。
在低延迟方面，相较于纯MCU方案，边缘AI定制的硬件加速器具备更高数据吞吐量，可将速度提高100倍以上。在成本方面，MAX78000远低于FPGA等方案，略高于常规MCU，但可以处理更复杂的细节。在高度集成方面，集成的神经网络加速器与低功耗微控制器使得在电池供电的IoT设备中实现复杂、实时的AI功能成为可能。
据李勇介绍，MAX78000的应用领域主要聚焦在视觉识别、声音识别、监测识别等三方面。视觉识别主要包括VGA图像分析、物体侦测、面部识别；声音识别主要包括语音唤醒、语音身份验证、声音降噪；监测识别主要包括心率监测、脑电波监测、工业预防。
他进一步解释，AI技术是一种强大的模式识别技术，需要进行大量的矩阵运算，以及大量的存储空间和系统功耗。边缘AI作为在设备本地执行的AI，通常需要使用电池进行供电，因此要在系统功耗、计算速度和设备成本之间取得平衡。
ADI的MAX78000 AI MCU通过独特的架构设计实现了上述要求，能够为机器视觉、面部识别、目标检测和分类、时序数据处理和音频处理等应用提供理想选择。目前，MAX78000已在森林防火监测、地质灾害监测以及智能家居等领域获得广泛应用。

在李勇看来，未来，诸如MAX78000这类AI MCU的应用，还将会向新兴的AIoT、运动健康、远程医疗、自动驾驶、机器人与自动化、工业制造、智慧楼宇/园区/城市，以及各行业的安全监测等场景拓展，如各类图像识别，头盔摄像头、助听器的语音控制，以及风力发电设备安全监测的预测性维护等。

MAX78000如何解决边缘AI的落地难题

从芯片层面来看，边缘AI的落地难题，主要与算力、算法、功耗、延迟、集成度和成本等因素有较大关系。具体来看，在算力方面，相较于云端服务器，边缘节点的AI算力资源配置往往有限，无法满足边缘侧AI的应用。李勇表示，ADI的MAX78000 AI MCU配备了专门的神经网络加速器，从硬件层面可以大幅提升边缘算力。
在算法方面，由于软硬件异构、接口限制等因素，算法适配往往很难。MAX78000针对语音与人脸识别等应用从产品方案、接口配置到工具优化，以及生态上均提供了丰富支持，比如，智能识别数据的收集和数学模型的建立跟训练很重要，为此ADI提供了声音识别和face ID识别demo程序供客户下载和学习，客户仅需在其基础上进行修改。此外，ADI拥有非常有经验的第三方生态伙伴，能够提供数学模型的训练与数据的收集。
在功耗方面，大量边缘AI应用常常导致设备功耗高企。而MAX78000基于CNN加速器和双核处理器架构，数据无需消耗高功耗上传，即可完成智能决策，同时还支持高效的片内电源管理，集成单电感多输出（SIMO）开关模式电源，能够有效降低器件功耗，延长电池供电IoT设备的续航时间。
在延迟方面，边缘端设备监测的各种数据通过网络传输到云端，一旦带宽受限，就可能出现无法容忍的延迟问题。但与常规软件解决方案相比，MAX78000在配置并加载了数据后，运行AI推理的速度能够提升100倍。
在集成度方面，边缘AI应用如可穿戴设备需要产品集成度高、体积小，但基于MCU或GPU或FPGA的方案往往较大，不符合应用的尺寸需要。另外，这些方案通常要配备片外存储器、PMIC，方案无论成本、尺寸还是功耗都具有很大挑战性。MAX78000则能兼顾小而全和小而优。
在成本方面，基于云计算的边缘智能可能只适合一些大企业的应用，例如几万个、几十万个客户来支持一个服务器，这样才能够支撑云端的成本。但很显然，这对于边缘AI设备来说不现实，而MAX78000却能实现很多基本的控制应用，让边缘端的自主智能更具成本效应。
具体来看几个案例，比如，森林火灾，公路、铁路或大坝塌方等灾害现场往往地处偏僻，通信网络带宽受限，但快速决策和预警非常关键，因此必须进行边缘端快速判定。对于此类应用时间敏感性非常高，传统的云端监测，可能需要发送一组图片到云端，对网络流量要求比较高。而更靠近数据源的边缘计算不仅能提供低时延、高可靠服务，还能够保障数据处理的实时性。
MAX78000因为拥有双核处理器架构，并搭载独立的CNN加速器，大幅提升边缘AI算力。通过监测端自主智能识别，一旦有突发情况出现，MAX78000能够快速分析决策并告警，避免更严重的灾害损失发生。
再比如，当前市场通用的MCU或FPGA的智能解决方案，在电池供电的低功耗边缘端智能应用中仍面临巨大挑战，比如任何一次更换电池的运维成本可能比设备本身更贵。由此，低功耗正成为目前众多边缘智能应用场景的关键要求。
市场急需像MAX78000这样的具超低功耗特性的新一代边缘AI解决方案：首先，MAX78000的边缘智能决策能力，避免了频繁的数据传输、数据采集导致的高功耗；其次，MAX78000提供高效的片内电源管理，集成单电感多输出（SIMO）开关模式电源，可最大限度地延长电池供电物联网设备的续航时间和降低成本。

边缘AI芯片的未来趋势

从目前的情况来看，边缘AI正在快速崛起，2022年或将成为其爆发元年。知名市场研究公司Forrester预测，在2022年，智能基础设施的投资将增加40%。
在ADI看来，终端设备爆发叠加产业数智化转型契机，越来越多的边缘设备将需要具备一定的“学习”能力，能够根据收集到的新数据在本地分析、训练、优化和更新模型。当然，这也会对边缘设备以及整个AI实现系统提出一系列新要求。一方面，边缘AI芯片作为人工智能的底层硬件支撑，需要与其他元器件一起协同工作，才能将AI效率推向极致；另一方面，除了硬件，软件也是实现AI的核心。因此，未来AI芯片必须具备一个重要特性，那就是能够实时动态改变功能，满足软件不断变化的计算需求，即“软件定义芯片”。