微型AI：聊聊TinyML市场的可能性

近一年TinyML这个词好像格外火：这和AI、IoT作为时下最热门的应用领域有很大的关系。虽说TinyML Foundation官网看起来像是个很松散的组织，Arm、瑞萨、Reality AI、莱迪思、英飞凌、谷歌、高通等都在其赞助商和合作伙伴之列，就足见TinyML的声势之大。究竟是什么在促成TinyML的发展？

恰巧最近做的几个有趣采访，都和边缘/端侧AI相关，包括瑞萨刚刚了收购Reality AI——这就是一家做边缘AI和TinyML的企业；还有国内的知存科技量产了首颗存内计算芯片，这类芯片目前的应用主场是端侧产品AI计算；去年EE Live直播间做过一场边缘AI相关的线上直播......（本文的“边缘（edge）”一词将窄化到终端（endpoint）设备）

把AI计算——或者有时可以窄化到神经网络的矩阵乘加运算，带到端侧设备上并不稀罕。智能手机就是个典型的端侧设备，现在的智能手机AP SoC芯片上普遍都配有专门的AI计算单元，苹果称其为NE（Neural Engine）、Arm和华为叫它NPU、联发科则将其叫做APU。

即便是IoT这种更小算力的端侧设备，其实也有AIoT这样的称谓。这里的A就是指AI——当然其含义可能比深度学习、神经网络更宽泛，但IoT端侧设备要带AI能力也是时代主旋律。

近一年TinyML这个词好像格外火：这和AI、IoT作为时下最热门的应用领域有很大的关系。虽说TinyML Foundation官网看起来像是个很松散的组织，Arm、瑞萨、Reality AI、莱迪思、英飞凌、谷歌、高通等都在其赞助商和合作伙伴之列，就足见TinyML的声势之大。

TinyML设备出货量几年后25亿

ABI Research的数据是2021-2026年，IoT连接数有3倍增长，届时IoT连接数会达到236亿。当然并不是所有的IoT设备都会带上AI或机器学习能力，但这是TinyML的市场基础。
所谓的TinyML，看字面意思就知道是微型的（Tiny）机器学习（ML）。“微型”是相对于一般需求更高算力的AI计算而言的。比如前文提到的手机AI计算单元——智能手机AI算力所需的功耗和成本是IoT设备上承受不住的。比如智能家居设备中由电池驱动的智能温度传感器，或者工业制造场景中部署的在马达上检测振动异常的传感器+MCU设备。

IoT设备通常总是通过传感器不停地收集数据，比如说影像画面、温度湿度、存在感知等等。将大量数据集合以后，进行机器学习的模型训练，就有机会生成更有价值的信息：AI在智慧交通、智能城市、智能家居之类的应用大多就是这么回事。不过AI计算是个需要算力和成本的工作。比如云上的大规模AI模型训练（training），必然是基于大算力的GPU或者专用的AI芯片。

模型训练完成后，复杂的AI推理（inference）工作也不适用于大多数小算力的IoT设备，而需要在云或边缘数据中心进行。一般IoT设备上的16位/32位MCU对于承接AI计算显得相当无能为力。TinyML的提出，就是为了找寻AI计算在IoT设备上的成本、功耗均衡，让数据分析工作也能在算力并没有那么高、存储资源还不多的硬件，配合专门设计的软件（小规模AI推理工作）上执行。

从TinyML Foundation官网介绍来看，典型的TinyML IoT设备应该将系统功耗控制在mW级别，模型尺寸小到100kB以下。也就是说TinyML设备，要在超低功耗、性能受限的环境下做本地的AI工作。不过这样的机器学习模型主要是扮演过滤的角色，比如说将那些不必要的参数、低于阈值的数据排除在外；唯有有价值的数据才会促使IoT设备做出相应的动作——不仅是本地响应（比如说家用警报器发现问题时发出警报），也可以是将数据进一步发往网关或云。

TinyML并不是要替代更复杂的AI推理，而是把一小部分特定能力迁到端侧设备上。那么就省去是总是需要联网、做数据通讯的麻烦，不仅能够显著降低功耗，而且也更为实时、有更高的隐私和安全性。ABI Research去年发布过一份TinyML: The Next Big Opportunity in Tech白皮书。这家机构预测TinyML市场出货量会从2020年的1520万个设备，增长至2030年的25亿个IoT设备。

其潜在应用领域典型如家庭安防、智能家居自动化、宠物定位和追踪、健康类可穿戴设备；工业与生产中的资产追踪、制造缺陷发现、智能楼宇/建筑；交通领域的车流监控与交通高峰期的疏导、智能路灯；还有智能电网、智能仪表，以及物流和运输等。

来源：ABI Research

上面这两张图是ABI Research预测的2021-2030年，不同应用领域TinyML设备的出货量，以及TinyML芯片能够产生的营收（分成了ASIC、FPGA和MCU）。市场增长潜力看起来还是相当之大。

其实TinyML跟端侧AI的很多应用原本就是重合的，只不过TinyML给定了某种更严苛的算力和功耗限制。从某种角度来看，TinyML这个词或许更有浓重的市场宣传色彩。不过围绕TinyML展开的研究和努力是真实存在的，而且其发展动力可能还超乎想象。

聊聊TinyML芯片的可能性

我们见过不少边缘AI芯片或系统。为普罗大众所的，如英伟达Jetson Nano开发板——这是个能直接应用英伟达的AI和CUDA生态的硬件产品，基于英伟达GPU做AI开发。同类明星产品也不少，包括一些加入了专用AI计算单元的，像是瑞芯微RK3399 Pro、晶晨A311D、Intel Myriad X、谷歌edge TPU等。

前两年的工业博览会上，我们看到瑞萨在展示一种e-AI（嵌入式AI）故障预判解决方案，这个demo演示的是工业现场的电机运行状态：有个加速度传感器采集电机的振动情况。本地有专门的AI计算加速单元，名为DRP(Dynamic Reconfigurable Processor)。在电机的振动参数有某些异常变化的情况下，就能预判电机可能要发生故障。

当然在数据采集和训练上，整个过程还是涉及到了云上的机器学习。而且不管是英伟达Jetson Nano，还是瑞萨DRP，跑起来的系统功耗应该都远超mW水平了。下面这张图是此前我们在采访瑞萨时，他们提供的一张AI性能和效率对比。瑞萨RZ/V2M的DRP加速器效率是相当不错的，只是这些系统严格意义上应该都不能算“TinyML”。

但追求边缘AI应用，的确是IoT的大趋势。前年我们参加了瑞萨杯全国大学生电子设计竞赛，这一届比赛就在于鼓励参赛学生充分应用硬件的AI算力。

从目前TinyML及其合作伙伴的宣导来看，现在的TinyML“芯片”更多的还是在于处理器内核加上一些强化的并行计算资源：比如说Cortex-M3，用15KB代码、22KB数据，在检测到特定语音单词时，就能唤醒系统，跑语音识别模型。2021年Rapberry Pi Pico发布，基于RP2040 MCU，Cortex-M0+双核，能跑TensorFlow Lite Micro。RP2040是被视为TinyML的标版的，开发者可以跑机器学习模型来进行一些传感器数据分析，包括视频和图片识别、手势识别等。

电子工程专辑今年6月刊的封面故事《催生超低功耗边缘AI应用 tinyML赋予MCU产业新契机》一文在这方面有更为详尽的解读，相关Arm、RISC-V在TinyML芯片和生态上的参与度。比如Cortex-M55新增了Helium矢量处理技术，加强了DSP和ML方面的能力。不过Arm在官方的TinyML宣传文章里也提到了自家的Ethos系列microNPU，专用于加速嵌入式和IoT设备的机器学习推理运算。可见TinyML的专用AI加速单元必然是要被提上日程的。

另外有关芯片，特别想提一嘴的是存内计算（in-memory computing）芯片，或者把范围进一步泛化到模拟计算方法。存内计算还是个全新的领域，颠覆了传统的冯诺依曼架构体系：直接就在存储器内进行计算，最小化数据搬运过程。主流的存内计算技术是基于模拟电路的计算——加上少了数据通讯开销，所以能效大幅提升，功耗相比于一般的AI芯片几倍下降。

最近我们采访了知存科技，这家公司给出的数据显示以其刚刚量产的存内计算芯片，做40-100个词的语音检测，系统整体功耗能够控制在0.8mW量级——这就比一般的芯片低太多了，应用于电池驱动的可穿戴设备都毫无压力。所以在我们看来，这种新型结构的芯片在TinyML时代应当是最有发展潜力的。当然新架构的生态搭建，前期会需要一个漫长的积累过程。在这个方向上发力的企业，未来应该也会越来越多。

似乎从“模拟计算”的角度来看，在计算机科学的架构范式都可能产生颠覆的未来，TinyML的需求持续进化，可能对整个行业带来前所未有的革命。时代现如今就有不少点状式的发展趋势，比如各种神经拟态传感器和计算方式的发展。它们都有着相较于如今的计算机架构，更为显著的效率优势。

未来的不可限量与影响
在我们看来，TinyML或许只是AI发展的某种具体形式。但TinyML现在作为一个明确的概念在市场上流传，还是有利于这类技术的向前推进。而且研究人员也的确在“Tiny”这件事情上持续努力。

举个例子，去年底MIT（麻省理工学院）有个团队搞了一种技术，尝试缩减内存用量，具体能够提升视频的图像识别性能。这主要就是针对MCU可怜的存储资源，令其做卷积神经网络计算时的优化技术，属于特别针对TinyML视觉系统的优化，有兴趣的读者可以前往关注。这类研究应当还会越来越多。

ABI Research在paper中明确提到了TinyML带来的一些关键价值。比如说更好的数据隐私性、更高的能效——这两点前文都已经提到；更小尺寸的芯片（尤其降低片内或板上的存储资源用量）；功能安全与网络安全方面的提升（硬件级AI实施方案相比于软件，具备更高的安全性）；对于网络不稳定环境有更好的免疫性——这原本就是边缘AI的一大优势；不同组件之间更好的互联互通。

基于TinyML的特性，未来相关IoT的构成及供应链都可能会有新的动向。比如说基于功耗、可靠性、延迟等更严苛的要求，连接协议的选择或许会更明确；基于AI计算特性，AI模型OTA更新会成为标配；IoT设备或上游供应商可能要把更多的工夫花在AI和TinyML专业知识上——涉及到的能力会更多样，不管是用开源工具、选择与三方AI解决方案企业合作，还是自己去积累专业能力；生态构建和拥抱开发者社区会变得更重要。

这些好像会对IoT价值链持续产生影响，对IoT产品和相关厂商提出了更高的要求（虽然很多其实还是和单纯的边缘AI与传统AIoT是重合的）。TinyML在不同层面的发展，可能会超出我们的想象；甚至包括对计算机科学架构革新的推进。