骁龙AI进化论：推开新世界的大门

集微网报道（文/张轶群）对于高通的认知，应该更新了，全球领先的智能网联计算企业现在是其新的标签。

人工智能、连接和计算方面的优势正成为这家成立37年的公司，在全新的成长之路上，拓展智能手机外7000亿美元潜在市场的底气所在。

多年来，高通一直在持续推进AI方面的技术创新，特别是在去年高通提出“统一的技术路线图”的发展战略后，AI在骁龙技术平台上的重要性愈发凸显。

实际上，自2007年启动首个人工智能项目起，高通投入AI技术研究和产品开发已超过15年。截至目前，由高通AI技术赋能的终端数量超过20亿，从这个角度而言，移动芯片设计龙头也是全球最大的AI推理公司。

在高通近日发布的年度旗舰——第二代骁龙8移动平台上，AI能力的全面进化以及渗透让人印象深刻。

作为专为AI而打造的移动平台，第二代骁龙8移动平台从架构到功能设计，从技术到理念创新，全面为AI而来，通过软硬件的协同创新，最终实现了将桌面级AI算力带到移动端的壮举。与此同时，AI技术也实现了对于骁龙技术平台的重塑，在为智能终端带来变革体性体验的同时，也推开了端侧AI新世界的大门。

巨大跃升的AI引擎

如今，AI越来越成为贯穿骁龙所有技术的关键领域，去年的第一代骁龙8移动平台，已经体现出AI全面加持的趋势，而在今年发布的第二代骁龙8移动平台中，AI进一步登堂入室，成为平台设计的关键技术，在整个平台层面实现集成。

Hexagon处理器作为骁龙AI引擎的核心，在第二代骁龙8移动平台上迎来革命性的架构变化，实现了硬件层面上的巨大跃升。

首先，配备独立供电系统。AI场景的日益，丰富往往具有不同的设计需求和负载，通过增加独立电源系统实现“贴身”供电，能够进一步改善效率提高能效。

第二，大幅提升共享内存容量。通过共享内存的扩容，能够保证完整加载运行大规模复杂的神经网络，而无需像以往通过分块来回传输数据或频繁利用外部内存，减少与主内存的数据交换，进一步提升计算速度和减少功耗。

第三，首次在硬件层面加入微切片推理（Micro Inferencing）单元。通过在时间轴上对于网络层次的进一步切分，使同一时点并行计算的所有切片组合后进入处理器，能够让处理器始终处于“饱和”的高效运转状态，提升效率。同时，通过增加硬件加速单元，加速激活函数和分组卷积，实现张量加速器的性能翻番。

第四，采用“Hexagon直连”技术，使所有核心通过物理链路与Hexagon处理器连接，从而能够直接便捷地调用Hexagon处理器的计算能力，达到更高的性能表现。

凭借更多高效硬件的加持，新一代Hexagon处理器能够更好地支持Transformer网络在终端侧的推理，如计算机视觉、自然语言处理、实时转录、情感分析、实时翻译等功能在终端上的应用。

自然语言处理（NLP）是AI应用的全新领域之一，凭借硬件性能上的提升，第二代骁龙8移动平台在理解语言方面达到全新水平。让更多庞大且复杂的AI功能，可以在终端侧更好地实现。

在小米的展示中，可以看到，基于第二代骁龙8移动平台的AI性能，小米的最新旗舰产品已经能够实现本地化实时翻译的能力，急速生成双语、多语字幕，相比云端方案，本地翻译准确率提高，而且消除了网络波动带来的影响，也避免链接云端所带来的安全性隐私保护的问题。

不断进化的传感器中枢

高通AI引擎的另一重要组成部分，是传感器中枢（Sensing Hub）单元，过去几年，随着骁龙芯片AI处理能力的提升，传感器中枢功能也在持续进化。

高通在2019年推出的骁龙865中，在AI引擎中首次加入传感器中枢单元，实现对于外界环境的实时感知，承担语音助手、拍照唤醒等一些轻度负载的执行任务。

2020年高通在推出的骁龙888中，在传感器中枢中增加了一个专用AI处理器，不仅能够以极低功耗感知周围外部环境，收集外部不同类型数据流外，还能够实时收集内部数据，如5G、WiFi、蓝牙等信息，感知能力进一步加强。

在2021年推出的第一代骁龙8移动平台中，高通在传感器中枢引入了由专用AI处理器，DSP、自有内存等多核架构的全新低功耗AI子系统，同时增加了一颗实时在线的全天候ISP，能够在极低功耗下，实现7*24小时的视觉信息捕捉。

而在第二代骁龙8移动平台中，传感器中枢的能力实现大幅提升。通过增加第二个专用AI处理器，并提升50%共享内存容量，实现AI性能上的翻番，整体性能与前代相比提升8.8倍，在视觉唤醒、图像分类、关键词检测、异常检测方面的响应时间更短，同时保证了超低功耗。

传感器中枢能力的强化，有利于厂商基于新一代骁龙8移动平台所提供的硬件基础打造所需要的应用场景。比如，用户可以在息屏模式下将终端对准二维码并进行扫描，当用户与朋友聊天分享时，始终感知摄像头能够监测周围的陌生人，并关闭新消息通知等。而相关感知和搜集的信息，也会被安全保存在传感器中枢中。

软硬结合实现出色AI赋能

强大的硬件必须配合同样强大的软件。新一代骁龙8移动平台能够实现终端AI侧能力的提升，实现出色的AI赋能体验，除了巨大的硬件方面的强化提升外，也离不开软件层面的有力支撑。

今年6月，高通推出AI软件栈（AI Stack）产品组合，面向OEM厂商和开发者提供完整的AI解决方案，丰富的开发工具套件，能够显著缩短从设计、研发到部署的流程。

伴随第二代骁龙8移动平台的发布，高通还推出了全新图形用户界面和可视化工具AI Studio，开发者可以充分调用骁龙8移动平台CPU、GPU、Hexagon、传感器中枢等的AI能力，进一步助力AI和更多开发者，加快产品上市时间。

第二代骁龙8移动平台的另一个行业领先之处，是实现了行业中首次在移动平台部署INT4精度的解决方案。

在一些图像识别、分类等场景的深度学习模型中，INT8等在推理准确度上与传统FP32浮点计算相差无几，但在计算速度、功耗上却有更大优势，能够实现更高的吞吐量和更低的内存需求，但在资源有限的前提下，INT8不能满足性能要求。

因此，INT4优化成为解决之道，高通也一直在持续推动AI整数推理，模型压缩以及量化技术。通过INT4能够实现性能提升，模型权重所占的大小也大幅降低，可以容纳更多模型，这可以使得开发者和厂商在不损失精度的情况下，精简AI模型以降低功耗。

据介绍，INT4解决方案与现有的INT8相比能够实现60%的功耗减少，以及90%的性能提升，而如果同FP32比较，能耗降低64倍。

在合作伙伴虹软基于INT4的视频背景虚化演示中，可以看到，相比于INT8在确保视频质量的同时，能够大幅提升推理速度和降低功耗。

得益于全新架构的升级以及在供电、内存、硬件加速等方面的能力提升。第二代骁龙8移动平台中的新一代AI引擎与上代比，提高了4.35倍性能，能效提升60%。相比于竞品，第二代骁龙8移动平台在超分辨率、人脸检测、背景虚化、语言等AI用例方面的性能和能效表现上都大幅领先。

认知ISP变革影像体验

借助于“Hexagon直连”技术，高通在第二代骁龙8移动平台上，在Hexagon处理器Spectra ISP之间创建直接通道，首次在行业中引入认知ISP，在高性能摄像头中集成AI能力。

此前，通过AI实现影像品质的提升，主要依赖于拍摄完成后，软件层面的处理，费时又耗电，还会影响用户快速拍摄下一张照片。

而如今第二代骁龙8平台中，经过训练后的认知ISP，能够实时运行被称为“语义分割”的AI影像编辑技术，通过将画面进行分层，能够逐帧自动识别场景画面中的要素，并完成强大的编辑功能。

简单理解，认知ISP提供了一个实时的PS“修图”功能，会让照片中的天空更蓝，草地更绿，皮肤更平滑等。而且，这个过程可以在用户拍摄照片和视频时实时运行，甚至在拍摄之前运行，用户可以在准备拍摄时，从取景器看到实时增强的物体画面。

从实时语义分割滤镜的效果演示可以看到，这一神经网络不只针对面部检测，还进行了识别人脸细节的训练，包括嘴唇、眼睛、牙齿、皮肤和头发等，对于人像拍摄而言，可以照片或视频中人物的五官更完美、皮肤更平滑、发质更柔顺。

合作伙伴虹软的演示中，就展示了发质增强的功能。此外，认知ISP还可以识别配饰，包括手表、头盔、包和眼镜等并自动进行处理，如消除眼镜镜片的反光和眩光等。

语义分割具有开创性意义，意味着摄像头能够真正实现对捕捉画面的情景感知。毫无疑问，具备实时分层像素处理和实时语义分割滤镜的认知ISP将开启全新的专业品质影像体验，也将在影像功能上，助力手机厂商进一步打造差异化的产品。

无处不在的AI：从游戏到连接

终端侧AI能力的提升，正在为手机中的技术以及应用领域打开新的想象空间并带来更多可能。

比如只有电影拍摄中才有的焦点跟随技术，如今在第二代骁龙8移动平台上首次在手机端实现，“AI导演模式”为拍摄带来更好的景深效果以及更加集中的人物画面呈现。

在游戏方面，相比于以往多从提升渲染能力、分辨率提升的画质角度被AI赋能，如今的终端AI能力更加进入到游戏内容本身。

在《Air Derby Battleground》这款游戏中，玩家可以与经过AI训练的“敌人”作战，这些“敌人”如同由真人玩家操控一样，而且还会随着时间推移变得更加智能。而这一切都是由多个神经模型和数千个神经元进行训练，并在Hexagon处理器中进行推理后完成，用以打造一个更具挑战性的游戏环境，也让玩家在游戏的过程中带来更多的乐趣和真实感。

此外，第二代骁龙8移动平台集成的X70调制解调器，也首次引入了AI技术，能够优化Sub-6GHz、毫米波频段的5G链路，提升速度、网络覆盖、移动性、链路稳健性、能效，并降低时延。

比如，在网络不佳的情况下，以往都要通过硬件的方式实时切换，现在借助传感器中枢的实时感知功能，可以做到自动检测和切换网络。还可以借助AI检测信道状态，以往都是通过基带本身的能力实现，现在可以在后台通过AI运算来计算出当前的信道状态，从而进行适时的优化调整。

在赋能连接之外，无线音频同样是一个容易被忽略的AI发挥关键作用的场景。在今年的骁龙技术峰会上，高通发布的新一代音频芯片S5以及S3中，均内置了AI模块，用于回声消除与噪音抑制，能更好地提升如主动降噪等功能的表现。

在XR方面，AI也已经能够帮助骁龙芯片产品提升在视觉、交互性和音频方面的多项特性。

在PC方面，微软的Windows Studio能够利用骁龙芯片的AI引擎来实现视频通话过程中的智能降噪、背景模糊，得益于骁龙芯片的AI能力，这些功能可以在专用神经网络处理器上实时运行，而不再占用CPU和GPU，进一步提升了功能运行的能效。Adobe Sensei的AI技术可以与骁龙AI引擎结合，用户们可以在创意性工作流程和任务中，体验到终端性能的显著增强，比如终端在实现超级分辨率、背景去除、色彩增强、随时随地的内容编辑等功能时会有更好表现。

结语：打开AI世界的大门

AI的能力正在全面渗透至骁龙技术平台的方方面面，而从第二代骁龙8移动平台中AI能力的提升看，高通释放出两个关键信息：

一是用AI认知的方式创新SoC的设计，也就是用AI的思维去赋能设计上的创新，推动技术成长。

比如在芯片设计方面，为了更好的实现对于AI的支持，Hexagon直连技术、性能翻倍的张量处理器，更多的AI专用处理器，独立的供电系统，更大的贡献内存，都是为了更好的解决AI带来的能效问题，也在推动骁龙AI引擎功能上的不断丰富和完善。同时，不断提升软件方面的能力，便于开发展和OEM厂商能够更好地访问和使用AI引擎，更高效地打造应用。

二是AI认知的方法论本身也在做自我的创新，从二维走向三维。

比如，Hexagon处理器中的微切片技术，就是引入时间这个三维要素，显著提高了系统的效率。同时，在影像应用中，语义分割中引入时间维度，能够更方便地进行AI影像创作。同时引入时间维度，还可以打开更多想象空间，比如AI通过日记的识别生成影片等等，这将带来更加创新的应用。

从上述两个角度而言，在端侧AI方面，高通正在推开新世界的大门，走到三维认知，这对于骁龙平台的变革和推动作用是巨大的，是认知和方法论层面的变革，将对未来AI能力的提升产生深远的影响，也将助力OEM厂商以及终端产品带来革命性的创新体验。

过去几年，AI在骁龙技术平台上的重要地位愈发凸显，特别是去年高通提出“统一的技术路线图”后，在针对未来移动平台所需要的核心技术（AI、影像、图形、处理和连接）方面，AI更是居于首位，而凭借在无线通信、高性能低功耗计算和终端侧AI方面独具优势的技术能力，高通正在实现从移动领域向汽车、物联网等领域的全面业务增长。

新一代骁龙8移动平台，正在推开终端AI创新的大门。