vivo 双芯 x 影像技术沟通会——技术白皮书

来源:电子创新网发布时间:2022-11-111414浏览

询问 AI

旗舰平台联合研发深层次、全方位探索，将天玑 9200 实力发挥到极致

天玑 9200：MediaTek 新一代旗舰平台
vivo x MediaTek 多领域深度合作，联合研发
◆ MCQ 多循环队列：多核场景，高速传输
◆王者荣耀自适应画质模式：提升续航，控制升温
◆芯片护眼：实时侦测，实时降蓝光
◆ APU 框架融合：能效骤增，优化协同
◆ AI 机场模式：飞行节能，落地速连
多场景联合调校
◆游戏场景：稳帧降耗，冷劲全速
◆影像场景：优化性能，有效降耗

自研芯片 V2 重塑芯片结构，影像性能双爆发

FIT 双芯互联技术：软硬结合，高速协同
近存 DLA+片上 SRAM：优化 AI 部署，释放平台潜力
◆近存 DLA（深度学习加速器）：提升算力密度，优化视频能力
◆片上 SRAM（高速低耗缓存单元）：扩大等效内存，提升运算速度
全新 AI-ISP 架构：双芯算力互补，提升影像性能
◆双芯 AI-ISP 架构：灵活多变，专用专注

影像自研影像算法，拓展全场景专业成像

长焦：长焦能力，质的飞跃
◆超清画质引擎：图像处理流程 AI 化，突破镜头工艺上限
◆ Ultra Zoom EIS 技术：软硬协同，稳稳运镜
运动抓拍：按下快门，定格美好瞬间
◆“零延时”抓拍：迅速成片，所见即所得
◆运动检测算法：捕捉运动主体，抓住精彩瞬间
暗光抓拍：多算法叠加，全链路优化
◆ Sensor 感光能力：ISO 升至 10W
◆运动自适应多帧融合+自研 RawEnhance 2.0：多帧融合叠加，暗光抓拍无拖影
精彩回溯：瞬秒保存，自动优选

双轨研发塑造 vivo 底气，极致产品回应用户期待

旗舰平台联合研发深层次、全方位探索，将天玑 9200 实力发挥到极致

天玑 9200：MediaTek 新一代旗舰平台

天玑 9200 是 MediaTek 发布的全新一代旗舰 5G 移动平台，在多个技术领域取得了更进一步的突破，拥有更卓越的高性能、高能效、低功耗表现。

在 CPU 方面，天玑 9200 旗舰平台采用先进的 1+3+4 三簇旗舰架构，首发 ARM Cortex-X3 超大核，单核性能提升 10%以上，同时大幅优化大核 A715 与小核的能效，在视频、音乐、游戏等用户高频使用的场景下，带来更顺畅的体验。

在 GPU 方面，天玑 9200 旗舰平台首发搭载 ARM Immortalis-G715，并将配置升级到了 11 核，浮点运算能力提升 2 倍，整体曼哈顿性能提升 32%，功耗优化 41%。

支持硬件级光追能力，整体光追能力提升 3 倍, 支持行业最新的 vulkan1.3，结合 VRS 可变分辨率渲染，能大幅提升在复杂场景中的融合渲染能力，带给用户更完美的游戏体验。

在 APU 方面，天玑 9200 旗舰平台采用第六代 APU690，全新的省电架构和像素级处理技术, 部分场景能效可提升 45%以上。

vivo x MediaTek 多领域深度合作，联合研发 5 大功能

早在 20 个月之前，vivo 与 MediaTek 就已经展开了密切的合作。双方在影像、游戏、AI、显示、通信、功耗、UX 性能等多领域展开深度联合研发。vivo 从用户的使用场景出发，将vivo 的产品需求前置到芯片的规划阶段，去影响、改变部分芯片的规格，从而帮助用户在实际使用场景中做到性能和功耗的完美平衡。

此次，双方加深合作深度，带来了 5 个联合研发的重磅功能：MCQ 多循环队列、王者荣耀自适应画质模式、芯片护眼、APU 框架融合和 AI 机场模式。合作带来的不只是某个单一领域的升级，而是从性能释放到游戏体验，再到显示、影像乃至通信等领域的全面突破。

MCQ 多循环队列：多核场景，高速传输

MCQ 多循环队列是行业针对未来多核场景考量，为发挥 CPU 极致性能，重新定义的一款全新处理引擎。MCQ 最多可为 CPU 和 UFS 之间的数据交换提供 8 条通道传输，有效提升CPU 的数据并发处理能力，让应用软件切换和后台下载唤醒更快、更流畅。

经测试，搭载 MCQ 技术后，随机写入速度增加 16.7%以上，安兔兔跑分近 5000 分，在更多更实用的场景也有明显的进步。各类 APP 的安装和启动时间也均有不同程度的缩短，如重载游戏和平精英安装时间缩短 10%，启动时间缩短 26.5%。

经过 vivo 和 MediaTek 的共同努力，天玑 9200 旗舰平台成为行业首个支持 MCQ 的平台，相信越来越多的平台会频繁使用到这一功能。

王者荣耀自适应画质模式：提升续航，控制升温

王者荣耀自适应画质模式，由 vivo、MediaTek、王者荣耀三方联合研发，是基于 MAGT游戏自适应循环开发的一项黑科技。vivo 透过平台服务，与游戏应用间的即时信息交换，游戏应用可针对信息即时逐帧调控，进而达到一个自适应闭循环。

这项黑科技包含 FPS 救帧模式、Thermal、Power 降载模式、冷却模式。打开该模式，可以在游戏极致设定下，增加游戏续航时间，控制手机升温——经过实测, 开启自适应功能后，26℃环境下，在王者荣耀 120+极致配置下运行 1 小时，游戏帧率接近满帧，均方差仅有 0.92。

芯片护眼：实时侦测，实时降蓝光

视力健康现在越来越被大家重视，「蓝光」也成为了 vivo 想方设法要对抗的天敌。而芯片在降蓝光上发挥着至关重要的作用。vivo 和 MediaTek 共同在天玑 9200 旗舰平台上开发智能降蓝光技术，实时侦测画面蓝光占比，通过创新性的算法并硬化成 IP 的方式，实时降低蓝光。让高能可见蓝光占比小于 5%，色偏程度降低 12%。基于芯片带来的降蓝光能力，得到了 SGS 智能低蓝光认证。

APU 框架融合：能效骤增，优化协同

天玑 9200 旗舰平台的第六代 APU690 不仅算力高达 30TOPS，能效比相较上代更是提升了 45%。

基于 APU 硬件特性，MediaTek 提供了 NeuronRuntime 软件加速框架。vivo 将NeuronRuntime 底层通用能力，封装到自研 VCAP 异构计算加速平台中。从芯片底层到框架层，VCAP 在访存处理、动态量化、指令流水线等维度实现深度优化，让算法在多个处理器之间协同调度，带来显著的能效提升。

基于这套方案，vivo 在 APU 上实现了多个功能的优化：如相机超清文档、实况文本、离线语音输入法等。

以离线语音输入法为例，vivo 推出了 Jovi 输入法 Pro 版本，支持全离线语音输入，确保数据不出端，用户隐私安全不外泄。是行业首次实现语音识别算法在 NPU 优化落地。对比上一代 CPU 方案，功耗优化 30%，性能提升 50%。

AI 机场模式：飞行节能，落地速连

AI 机场模式包含两大 AI 引擎：感知 AI 引擎、搜网 AI 引擎。在这一模式下，手机通过感知 AI 引擎准确感知用户进入机场与飞机的起飞降落，再通过搜网 AI 引擎来准确识别目的地，并智能调控搜网策略。

得益于 AI 机场模式，不仅是飞行过程中有优化，在飞机落地关闭飞行模式后，手机捕获网络仅需 1.52 秒，实现网络秒开，而在优化前是 7.41 秒，时间缩短了 79%。

多场景联合调校
经过 vivo 和 MediaTek 的共同攻关，天玑 9200 性能指标达到了业界 TOP 级，安兔兔实验室跑分超过了 128 万。能得到这样的成绩，离不开 OriginOS 的提升。
◆游戏场景：稳帧降耗，冷劲全速
在游戏场景下，带来可变分辨率渲染 VRS、游戏超分等黑科技，还通过疾速启动引擎和网络加速引擎增强游戏表现，对游戏的下载、启动、加载、运行等多个环节进行全方位优化——在王者荣耀 120 帧+超清画质下，运行 1 小时，平均帧率高达 119.72 帧，均方差仅为 1.71。这样的游戏表现，是对冷劲、全速最好的解释。

◆影像场景：优化性能，有效降耗

除了游戏，影像也是大家关注的焦点。此次，vivo 与 MediaTek 共同优化了多种拍摄场景下天玑 9200 旗舰平台的表现。首次以极低的功耗实现了先进的循环视差网络，大幅优化能效表现，能耗降低 15%。同时显著提升了人像模式的视差和深度估计表现，对于头发、眼睛、手持物体等细节区域改善明显，虚化效果提升 5%。尤其在 4K 60 帧极限录像场景中，天玑 9200 的功耗相比天玑 9000 足足降低了 25%。

自研芯片 V2 重塑芯片结构，影像性能双爆发

vivo 开创了外挂芯片技术形态，将高能效、低延时的自研芯片运用在性能与显示领域，并迅速在全行业流行和普及开来。面对用户「效果好、体验佳、性能强、功耗低」的呼声，vivo 带来全新一代自研芯片 V2。

自研芯片 V2 是一颗从场景事件出发，针对 AI 大密度算法算力需求，量身定制的「低功耗 AI加速芯片」。vivo 从芯片底层技术出发，对片上内存单元、AI 计算单元、图像处理单元三大单元做了大幅升级，带来了全新 AI-ISP 架构，翻开了移动影像的新篇章。

FIT 双芯互联技术：软硬结合，高速协同

手机 AI 计算成像，大致可分为平台和外挂两种解决方案——外挂芯片可减少软件调度，高效专注于大密度 AI 运算，但在特定场景下的运算缺乏灵活性；平台 SoC 软件部署灵活，NPU 峰值算力上限高，但难以满足大密度运算的算力需求。

为了发挥平台和外挂的各自优势，做出 1+1>2 的效果，vivo 系统架构师和工程师在尝试了若干种芯片间高速通信的方案之后，终于设计出 FIT（Frame Info Tunneling）双芯互联技术。

自研芯片 V2 与平台 SoC 的芯片架构和指令集完全不同，vivo 将大型复杂算法模块拆分，把算力密度小、网络结构复杂的小模型部分，通过软件部署在平台 NPU 上；把算力密度大、数据吞吐密集的大模型部分，部署在自研芯片 V2 硬件上，让它们处理各自擅长的运算模块。平台NPU 会对传感器和每帧画面进行预处理和运动感知分析。

通过自研 FIT 双芯互联技术，自研芯片 V2 可以将 NPU 分析的结果和高精度 Timecode 嵌入到每帧画面中，在 1/100 秒内完成双芯互联同步，实现软硬结合，高速协同计算——在异构多芯片计算方向上，迈出了重要的第一步。

近存 DLA+片上 SRAM：优化 AI 部署，释放平台潜力

在端侧移动设备进行 AI 处理，有三个核心要素：算力容量，算力密度和数据密度——三者相互关联，共同决定着 AI 处理能力的上限。基于 CPU、GPU、NPU 的软件 AI 框架，平台 SoC 算力容量大，适合部署网络结构复杂的模型，但能效比不高，无法满足对大密度 AI 运算的需求。因此，在自研芯片 V2 的设计中，vivo 加入了近存 DLA。

近存DLA（深度学习加速器）：提升算力密度，优化视频能力

近存 DLA 通过全硬化 MAC 设计和大容量专用片上 SRAM，强化算力密度和数据密度，以释放平台的算力容量潜力。

算力密度方面，得益于全硬化 MAC 设计，V2 的近存 DLA 在实际 AI 运算中，能够达到 100%MAC 利用率。相比在平台 SoC 软件部署 AI 运算，8bit 算力密度提升了 2-3 倍。此外，vivo 还针对专业视频的 10bit 处理需求，在自研芯片 V2 中专门硬化了 10bit 的 MAC 单元——相比平台 SoC 软件部署所采用的合并运算方式，10bit 算力密度提升了 4-6 倍。

片上SRAM（高速低耗缓存单元）：扩大等效内存，提升运算速度

另一方面，数据密度受到传统架构 von Neumann 内存墙的制约，大密度运算会遇到数据填喂不足、运算等待数据的问题，极大限制了计算性能。为保证数据密度与算力密度的完美匹配，自研芯片 V2 借鉴了近存计算的思想，在近存 DLA 内配套设计了专用片上 SRAM，速度高达 1.3 万亿 bit/s，让V2 的片上 SRAM 容量较V1 提升了 40%，达到等效 45MB。近存DLA 的设计大幅减少了数据寻址和搬运的功耗，与通常 NPU 采用的 DDR 外存设计相比，SRAM 数据吞吐功耗理论最大可减少 99.2%。

算力密度和数据密度的双重提升，以及多项低功耗电路设计方法的加持，让自研芯片 V2 的近存 DLA 在同等芯片制程条件下的表现远超同行竞品——内核每瓦算力在运行 8bit MAC 和 10bit MAC 时，分别达到了 16.3TOPS/W 和 10.4TOPS/W；在部署相同算法时，自研芯片 V2 相比传统 NPU，能效比提升了 200%。

有了 FIT 双芯互联和近存 DLA 两项芯片底层技术的助力，vivo 在端侧 AI 部署上有了更多的灵活性和创新空间。

全新 AI-ISP 架构：双芯算力互补，提升影像性能

在应用侧，vivo 自研芯片 V2 将传统的 ISP 架构升级为 AI-ISP 架构，实现了跨越式的技术革新。

传统 ISP 以行为单位进行信号处理，其滤波器普遍是手工设计的。虽然能以极低延时处理大量的数据流水，但是只能解决已知的、特定的问题。

AI 可以处理复杂的、未知的问题，但 AI 软件算法部署在 NPU 时，需要以帧或块为单位进行处理；反而会破坏 ISP 的行级流水架构，造成延时提升，导致性能下降。同时，由于绝大部分平台 SoC 片上 SRAM 容量有限，大量 AI 算法在接入 ISP 管道后，要通过外部 DDR 来完成数据暂存和交互。这就会造成运算与数据分离，牺牲了高性能 AI 运算至关重要的 Data-Locality 要求，进一步降低了性能。

通过 FIT 双芯互联，vivo 第一次将平台 ISP-NPU 与自研芯片 V2 的 ISP-DLA 作为一个整体，来设计最合理的 AI 算法处理架构。将平台 SoC 上NPU 的大算力，与自研芯片中近存 DLA 的高能效、低延时在部署时进行互补设计，带来全新的双芯 AI-ISP 影像体验。

双芯 AI-ISP 架构：灵活多变，专用专注

旗舰平台与自研芯片，双 ISP 双 AI，一个灵活多变，一个专用专注，实现极致效果与极致能效比。再配合蔡司 T*镀膜、VCS 仿生光谱技术及强大的 vivo 算法矩阵，vivo 将整个计算成像光路进行了一次革新。vivo 自研芯片 V2 带来了全新的 AI-ISP 架构，在此架构下，FIT 双芯互联、近存 DLA、专用片上 SRAM 等多项突破性设计，能最大化满足 AI 大密度算法算力需求。未来，vivo 将继续在多芯系统、单芯架构与应用 IP 上持续精进，让自研芯片与旗舰平台灵活互补，实现极致能效。

影像自研影像算法，拓展全场景专业成像

长焦：长焦能力，质的飞跃

手机长焦拍摄通常存在两个问题：拍摄倍率过大时画面会模糊、手持运镜导致画面剧烈抖动，简单来说就是：拍不清和拍不稳——为此，vivo 带来了全新的解决办法。

为了让用户拍得更清楚，vivo 借鉴科研领域天文望远镜和高端显微镜的图像处理流程，带来全新的超清画质引擎。

超清画质引擎：图像处理流程 AI 化，突破镜头工艺上限

超清画质引擎从底层改写了 ISP 图像处理链路，将图像处理 AI 化，包含了 Denoise 降噪、Demosaic 细节恢复、Deblur 去模糊三大重要模块，以及蔡司光学超分算法。

蔡司光学超分算法是这套引擎的核心。它是 vivo 和蔡司联合研发的一种全新计算光学算法，能根据每个手机的模组特性做建模分析，通过逆运算动态调整，补偿光学信息，突破镜头工艺的上限。在蔡司光学超分算法的加持下，可以恢复 5 倍以上焦段约 35%的清晰度信息。

Ultra Zoom EIS 技术：软硬协同，稳稳运镜

在长焦拍摄的过程中，变焦的倍率越大，抖动也会被放大，Ultra Zoom EIS 技术可以消除抖动对拍摄的影响。它包含了 IMU（惯性测量单元）、OIS 光学防抖与 EIS 电子防抖三大模块：IMU 负责检测抖动，OIS/EIS 负责抵消抖动，软硬协同防抖。这使得 vivo 能在 20X 以上倍率实现抖动抵消，让被摄主体在画面中趋于平稳不会晃动。

结合超清画质引擎，Ultra Zoom EIS 技术在效果和体验层面带来显著提升，这是 vivo 长焦能力的一次全面升级。这只是纯算法的效果提升，下一代影像旗舰产品，结合硬件升级后会有更好的长焦拍摄效果，将会是 vivo 长焦能力质的飞跃。

运动抓拍：按下快门，定格美好瞬间

专业相机的快门延迟在 30ms 左右，而手机的快门延迟一般在 170-300ms。所以在同一时刻按下快门，专业相机出片完成后，手机可能仍未开始曝光。

“零延时”抓拍：迅速成片，所见即所得

全面优化图像处理管线，提升 Sensor 启动速度，快门延迟低至 30ms，达到专业相机水平。

按下快门就能迅速成片，让所见即所得。

运动检测算法：捕捉运动主体，抓住精彩瞬间

为了让手机能够准确捕捉运动主体，vivo 带来了新一代运动测量与跳跃检测算法，运动画面定格能力相较于上一代提升 58%，牢牢抓住精彩瞬间。

运动测量与跳跃检测算法包含自研人体检测和追踪算法、自研物体检测和万物追踪算法、自研高频轨迹侦测对焦等多种算法，通过深度学习让手机能够思考、预判画面走向并及时锁定画面，运动画面定格能力从 85 分提升至 92.4 分，牢牢抓住精彩瞬间。

暗光抓拍：多算法叠加，全链路优化

通过“零延时”抓拍和运动检测算法，让 vivo 具备了更强的瞬间抓拍能力。为了确保在暗光场景下也能实现这样的能力，vivo 做了多个算法的叠加，在手机摄影的全链路上都进行了大幅优化。

Sensor 感光能力：ISO 升至 10W

首先，vivo 和 Sensor 厂商深度合作，将 Sensor ISO 高感从上一代的 16000 提升到102400，暗光场景下的感光能力大幅提升。

自适应多帧融合 + RawEnhance2.0：多帧融合叠加，暗光抓拍无拖影

其次，在运动抓拍时采用运动自适应多帧融合技术，一次快门生成多帧运动画面，叠加 vivo 自研的 RawEnhance2.0 算法，可以把每一帧有用信息叠加在一起，让暗光运动也无拖影。

新一代的运动抓拍，在 5lux 的暗光环境下，画面细节表现提升 17.3%的同时，噪声还降低了46%。

精彩回溯：动态保存，自动优选

vivo 把抓拍定格的能力也赋予到了动态照片中，可以保存用户按下快门前后 1.5 秒的图片序列，将运动过程整理成多个清晰的动作切片，并支持自动优选出最美的一帧，让普通人也能像专业摄影师那样抓拍精彩瞬间。

双轨研发塑造 vivo 底气，极致产品回应用户期待

不论是影像技术迭代，还是芯片架构升级，单纯的硬件堆叠和算法配置都无法真正让人满意。vivo深知，技术自研是一条壁垒很深，需要长期积累的发展道路。

在自主研发的基础上，vivo 始终与行业优秀的伙伴们保持开放且深度的合作。vivo 坚持打磨人无我有、持续迭代的底层核心能力，将自主研发与联合研发相结合，去走一条差异化、高端化的道路。如果说，自主研发是 vivo 有别于他人的赛道选择，那么联合研发则是 vivo 突破技术边界的坚定尝试。如今，vivo 将自主研发与联合研发相结合，就是为了带给消费者更好的产品体验。

正是一直以来埋头种因的坚持，让 vivo 努力做得比别人更好，走得比别人更踏实、更长远。相信即将发布的下一代旗舰，能让大家能感受到 vivo 厚积薄发的技术实力。一键关注