高通：全栈AI优化 打造领先的边缘AI性能

7月6日，2023世界人工智能大会——芯片主题论坛在上海举办。会上，高通全球副总裁兼高通AI研究负责人侯纪磊博士做了题为《全栈AI优化 打造领先的边缘AI性能》的演讲，介绍了终端AI的重要性和优势，高通在终端AI方面特别是生成AI方面的进展，以及对于混合AI在高效推动AI规模化落地等方面的看法。

如今，尽管大量AI的训练和推理仍在云端进行，但终端侧的人工智能正变得越来越至关重要。通过在最靠近数据源头之处处理数据，并同云端形成互补，往往能够带来在隐私、可靠性、低时延、成本、能耗、个性化等方面的显著优势。

“比如在成本方面，生成式AI通常参数体量巨大，如果在端侧部署，能够推动成本的显著降低。而在AI数字助手方面，手机、驾舱、PC等使用场景，端侧AI则能够很好地满足私密性、个性化的需求。”侯纪磊说。

据侯纪磊介绍，早在十几年前，高通便开始了AI方面的研发，其中一个重要研究方向就是高效能AI，在包括硬件、算法和软件等层面进行了大量的研发创新。

在高效硬件方面，通过对高通移动平台中CPU、GPU、NPU等不同单元进行优化，最终使得针对不同任务，能够选择合适的计算模块运行，侯纪磊认为这是高通端侧AI非常显著的特点。在算法层面，高通具有一支顶尖的深度神经网络算法团队，有很多原创性的研究成果。在软件方面，在面向深度学习的软件加速runtime以及SDK/开发框架方面，高通对于客户以及开发者都做出了很好的支持。

“因此，高通AI研究的一个非常重要的原则，就是全栈式的AI创新和优化。通过跨层的模型、硬件和软件创新加速AI应用，这种早期研发和技术发明对于引领生态系统发展至关重要，而最终将技术提供给商业团队，并通过部署过程中的收获来影响未来的研究，形成正向循环。”侯纪磊说。