AI模型端侧部署，芯片异构成趋势

集微网报道（文/陈炳欣） 全球众多科技企业都在积极研究AI大模型，但从算力角度来看，人们的关注点多集中于云端，因为参数规模太大，要想实现AI大模型在边缘侧和终端侧部署并不容易。如果大模型能够在边/端侧进行部署，将有力推动智能应用的普及和发展，为用户和企业带来更多价值。长远来看，实现AI大模型在边缘侧和终端侧部署也是未来的发展方向之一。

厂商加大对端侧AI模型支持力度

相比于如火如荼的云端大模型，当前终端侧的表现显得冷清很多。然而，从云端到终端是AI行业发展的必然趋势，如何让终端设备实现类ChatGPT功能，是未来AI企业都需要面对的问题，算力部署更是其中的基础。

Arm 物联网事业部业务拓展副总裁马健在接受集微网采访时表示，以 Open AI和ChatGPT为代表的大语言模型，甚至更广泛的大模型时代，使AI成为所有人可见可触的技术。对整个生产力都有很大的提高。在谈到如何实现终端和边缘侧大模型部署时，马健认为，首先这要求设计者在模型方面做到稀疏化。也就是说在云端设计出一些比较大的模型，然后通过稀疏化的过程，使模型在边缘侧做到相对有效的部署。从芯片架构来看，异构计算将是未来发展的必然选择。边缘侧设备集成的芯片从同构CPU架构发展到异构，以及加速器架构，能够更好地支持大模型稀疏化后形成的小模型，使它们能在边缘侧和端侧实现部署。

目前，谷歌、微软、腾讯等厂商均开始在在边缘侧和端侧有所布局，加速AI 技术与智能终端的融合。芯片方面，高通在MWC 2023 大会发布全球首个运行在Android 手机上的Stable Diffusion终端侧演示。Stable Diffusion 模型参数超过10 亿，高通利用其AI 软件栈对模型进行量化、编译和硬件加速优化，使其成功在搭载第二代骁龙8 移动平台的手机上运行。

Arm也于日前推出Arm智能视觉参考设计，推进了AI大模型在终端与边缘侧的应用。Arm 智能视觉参考设计不仅包括Arm Corstone-1000、Arm Corstone-300、Arm Mali-C55 图像信号处理器，还集成了安谋科技开发的玲珑VPU和周易NPU，并由安谋科技将 Arm IP 与安谋科技自研IP进行集成和验证。

智能视觉作用日渐显现

未来，随着AI大模型从云端到终端延伸，智能视觉将发挥重要作用。对此，马健指出，在模型和行动无处不在的新时代，智能视觉将变得必不可少。因为机器系统必须通过视觉等感官理解周围环境，做出相应的决策和行动，视觉信息为自动驾驶和机器人提供了关键的安全和避障能力，这是生死攸关问题。视觉对于人机交互也是至关重要，未来的聊天机器人或者伴侣机器人不仅需要高智商，更需要高情商，而机器视觉可以通过捕捉人类的表情、手势和动作，从中理解人类的意图和情感，改善 AI 与人类的沟通和合作。另外，模型优化也可以借力智能视觉等感知技术，从现实生活中采集真实数据形成更准确的模型，而不仅仅是依赖于文本描述和静态图像。

未来，智能视觉系统将呈现两大技术趋势。首先是云、边、端的协同。由于视频数据巨大的数据量以及诸如自动驾驶等应用对实时性要求非常高，这决定了智能视觉系统需要能够将计算和决策任务分布在云、边和终端设备上，并实现协同工作。其次是AI的加持。未来的智能视觉系统将继续依赖深度学习模型和神经网络，提高图像的分析和识别能力，并利用强化学习和自主自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。

智能视觉芯片架构在过去几年中经历了一系列的演进，从功能固定难以编程的DSP和ASK，到通用性强易编程的 CPU 架构，到现在的综合了CPU、ISP图像处理器、NPU AI 加速器、VPU视频编解码器、GPU图形处理器的异构 SoC 片上系统，已经逐步实现低功耗、高性能和高度集成的特点。这些处理器也可适用于对功耗要求更高的边缘设备，如智能手机、摄像头、XR，机器人和物联网设备等，为智能视觉成为一种普世的能力奠定基础。 Arm 推出的全新智能视觉参考设计首次将 Arm 现有子系统 IP 与第三方 IP整合，预集成和预验证的产品组合能协助边缘 AI 领域公司的初创公司、跨界创新公司或者是希望进行垂直整合的系统公司，加速 AI 与视觉应用整合的实现。