深度揭秘全球首个移动端6nm 影像专用NPU

来源:电子创新网发布时间:2021-12-1558浏览

深度揭秘全球首个移动端6nm 影像专用NPU--OPPO马里亚纳® MariSilicon X

今天，OPPO在未来科技大会上，OPPO创始人兼首席执行官陈明永正式发布了传言已久的第一颗自研芯片--马里亚纳® MariSilicon X，这是由OPPO第一个自主设计、历时3年自主研发的影像专用NPU芯片。该商标“MariSilicon”源自马里亚纳硅的英文词Mariana Silicon，由世界最深海沟马里亚纳和硅芯片两个名字演变而来，意指OPPO在芯片领域探索最深硬件科技的决心。

在2019年 OPPO INNO DAY上，陈明永曾说“要有十年磨一剑”的信念，勇于迈入研发“深水区”，构建最为核心的底层硬件技术。针对OPPO自研芯片，陈明永强调：”科技公司，必须通过关键技术解决关键问题。如果没有底层核心技术，就不可能有末来。没有底层核心技术的旗舰产品,更是空中楼阁。”并表示OPPO会持续投入资源，用几千人的团队,去脚踏实地做自研芯片。

这颗采用台积电6nm工艺DSA架构的NPU将使OPPO在影像方面形成差异化能力，用AI解决了困扰手机很久的影像难题，从公布的样片来看，其暗光环境下的4K视频效果惊人！初入半导体行业的新人OPPO，发布的第一颗芯片却经验老道，刀法成熟，令人赞叹！

据悉，马里亚纳® MariSilicon X有超过30亿个晶体管，从晶体管数量来说并不是一颗很复杂的芯片，但是从6nm工艺研发来说，它具有较高的领先性，毕竟目前业界开发出6nm工艺的NPU并不多，据OPPO芯片产品高级总监姜波介绍，该芯片完全由OPPO独立开发，核心IP均自研，并且芯片做到了一次性流片成功，从其达到的算力看，其算力超过了苹果的A15，在业内具有领先性！

1、马里亚纳® MariSilicon X五大特点

据笔者看，马里亚纳® MariSilicon X有五个明显的突破点：

1、AI能效突破：该芯片18TOPs AI算力超过苹果A15；能效11.6TOPs/w，运行OPPO AI降噪模型的速度是达到Find X3 Pro（骁龙888）的20倍，能效达到40倍；

2、实现20bit Ultra HDR：马里亚纳®MariSilicon X最高支持人眼级别的20bit Ultra HDR，能覆盖100万:1的最大亮度范围，是目前行业主流HDR能力（骁龙8、天玑9000）4倍；

3、实时RAW计算：RAW域是计算影像的黄金点，马里亚纳®MariSilicon X支持20bit RAW计算，将传统只能在后处理完成的计算推向了最前端，为整个影像链路输出无损计算后的高质量数据，能带来基础画质的提升、预览即成像、三方App画质提升。

4、实现RGBW Pro能力：马里亚纳®MariSilicon X充分发挥了RGBW的更强能力，通过双链路的设计和2x RAW计算，实现7.6倍信噪比和1.7倍解析力替身。

5、独特的架构突破，关于关于OPPO的 MariSilicon X，它有两个关键词：NPU和DSA。这是最能代表这颗芯片的特点，这里简单科普一下。

NPU是Neural Networks Process Units（神经网络处理单元）的缩写，是专门用于深度学习和人工智能处理的处理器，它跟CPU、GPU的架构不同，它模仿生物神经网络而构建的，CPU、GPU处理器需要用数千条指令完成的神经元处理，NPU只要一条或几条就能完成，因此在深度学习的处理效率方面优势明显。

NPU工作原理是在电路层模拟人类神经元和突触，并且用深度学习指令集直接处理大规模的神经元和突触，一条指令完成一组神经元的处理。相比于CPU和GPU，NPU通过突触权重实现存储和计算一体化，从而提高运行效率。实验结果表明在同等功耗下NPU 的性能是 GPU 的 118 倍。

下图是CPU、GPU和NPU的对比--从下图看，NPU是不是跟人的神经元结构类似？

另一个关键词是DSA，这是一个这两年走热的名词！

DSA是Domain Specific Architecture（领域专用架构），这是两位计算机领域的大神--2017 年图灵奖获得者 John Hennessy 和 David Patterson 在 2019 年发表于 ACM 杂志上的文章《计算机架构的新黄金时代》中曾提出的概念：当摩尔定律不再适用之后，一种更加以硬件为中心的设计思路——针对特定问题和领域的架构 DSA 将会展现实力。这是一种特定领域的可编程处理器，针对特定类别的应用进行了定制。

这两位大神是RISC指令的发明人，David Patterson更是目前最热门的RISC-V指令的发明人，我们现在最熟悉的ARM架构就是基于RISC指令集。

他们认为回顾芯片50年的发展，目前传统的通用处理器演进已经遇到了瓶颈，即便是采用多核，提升的效益并不明显，所以针对应用领域做优化的DSA架构是未来的趋势。

DSA的优点在于，可以为特定的一类应用（注意不是一种应用，而是一类）做架构优化从而实现更好的能效比。相对于通用（general purpose）处理器，DSA需要设计时考虑专用领域的特殊需求，也需要设计者能对该领域有深入的理解。

DSA主要的应用案例就是为机器学习设计的神经网络处理器以及为图像和虚拟现实设计的GPU。DSA与专用集成电路（ASIC）也不同，后者通常用于单一功能，代码很少发生变化。DSA通常称为加速器，因为与在通用CPU上执行整个应用程序相比，它们只会加速某些应用程序。此外，DSA可以实现更好的性能，因为它们更贴近应用程序的需求。

以MariSilicon X为例，采用DSA架构的这颗NPU就是为了提升影像类应用的人工智能处理器，通过AI芯片化的专芯专用，跨越传统硬件和AI算力鸿沟。

不过DSA要有好的效果必须要独立完成架构设计，如单指令多数据并行（SIMD）、更高效地内存层次结构等，这都需要设计团队在前期进行大量的论证和权衡。

姜波就曾经表示马里亚纳® MariSilicon X集成奢侈的双层存储，包括Tb级读写速度的AI专用宽带（SRAM），以及8.5GB/s的影像专用带宽，为AI的高效运算提供充分的内存读写支持。

2、OPPO为何造芯？它的成功给OPPO带来了什么？

在手机ID以及处理器平台日益趋同的情况下，手机厂商要打造差异化的产品，要向高端冲击，必须有属于自己的芯片级核心竞争力，而影像可以更直观地体现厂商的差异优势，从NPU切入让OPPO首次完成影像链路的垂直整合，有能力解决行业长期以来的影像难题，包括传感器定制化使用、三方 APP生态等。

从目前各家手机平台发展来看，ISP基本都是多通道，支持18bit，可以说ISP发展已经遭遇天花板，此外，采用传统通用平台难以整合有效算力实现影像突破，很多手机平台没有专用的NPU ，如采用OPPO Find3只能完成每秒两帧处理能力，难以处理视频影像。

近年来，华为手机影像突破就是得益于麒麟芯片有单独的NPU ，可以实现每秒近50帧的处理能力，实现影像的突破。

两年期，本土几家手机厂商都开启了造芯计划，不过每个厂商选择的方向略有不同，从效果看，OPPO的NPU打法更能有差异化的效果，OPPO NPU的使用开启了一机双芯的新玩法，让手机中高端架构差异化，可以有力的推动OPPO打造真正的高端手机。

也许这将是本土手机真正迈向高端跟国际大牌一决高下的关键之芯！

3、OPPO 计算影像时代开篇之作

从苹果十三香电影模式爆红来看，计算影像时代已经来临，尤其是利用AI技术对视频影像进行处理将是未来十年手机影像的主流。

传统上手机SoC只对ISP以后的信息进行处理，马里亚纳® MariSilicon X利用AI技术将ISP之前的原始信息就进行处理，可以极大还原影像真实信息，这等于把最原始的图像信息率先就进行了处理。

我们知道手机摄影是一个采集事物表面反射的光转换成数字图片的过程，在这个转换过程中会有大量的信息损失。传统的影像信号处理，HDR则是在YUV里合成的，在经过RBG和YUV的转换中会损失多达75%的图像信息，整个链路最多就会损失93.75%的图像信息。姜波表示很多取巧的办法是对YUV进行处理，但OPPO选择用马里亚纳® MariSilicon X将处理节点前置在信息量100%的RAW域直接做实时计算，这样挑战很大，但RAW有更原始的信息，线性度、色彩更好，处理效果也更明显。

不过在RAW上处理上，对算法复杂度、实际相应的硬件投入各方面都会要求更高，典型场景如HDR AI 降噪，就需要有很好的训练模型对影像的原始数据做处理。据姜波介绍马里亚纳® MariSilicon X搭载了MariNet 1.0生长型神经网络，随着AI训练，效果能进化，功能可拓展，简言之，这是一个可以不断升级的影像处理器。

展望未来，我认为马里亚纳® MariSilicon X给OPPO带来了无限可能：

1、开放架构算力，接受第三方算法，可以实现更多差异化影像处理能力

2、通过产品迭代升级，可以进一步利用AI改善影像体验，巩固影像优势！

3、依托马里亚纳® MariSilicon X，OPPO的影像能力拓展到其他产品领域，如眼镜、家庭安防产品、手表等等。

语言的表达是苍白的，我们直接来看MariSilicon X加持的4K AI影像吧！如下下所示，在强逆光环境下拍照，这是所有手机拍摄的最大挑战，从样片看，MariSilicon X的加持让4K Ultra HDR保留真实细节，即便放大也有很好的对比度和细节信息！怎么样？震撼吧！