PreISP，手机下一个亮点？

作者简介：手机行业十余年老兵

继3月底，小米宣布推出自研芯片C1后，VIVO也于近日宣布推出自研芯片VI。这两个都以1命名的芯片，都是用于提升ISP的图像质量的芯片。这是否代表着外置ISP会成为下一个手机的亮点？

其实外置ISP并非小米第一家。早在2017年左右，Samsung就将整个ISP pipeline做成了外置芯片。当时Samsung在高端平台上采用了双平台，高通8系芯片和Samsung自研的Exynos芯片，而为了保证Samsung手机在两个平台上图像质量保持一致，所以采用了外置ISP的方式。

随后，某品牌手机大厂为了跟其他品牌手机大厂的手机的ISP图像质量产生差异，找到了瑞芯微和CEVA，合作做了一颗PreISP芯片：RK1608A。

这个芯片最大的特点，就是内置了双核的CEVA DSP XM4。而主打的功能就是提升ISP的HDR和NR效果。这个芯片当年被Asus等大厂采用。

小米

之后的这几年了，外置ISP的消息慢慢少了起来。其实，各个手机品牌公司并没有放弃此事，都在暗中发力。其中小米一直在谋划着通过PreISP 打开与其他品牌的差异，所以自研了这颗PreISP C1。但从官方的宣传来看，目前C1 只是实现了自研的3A算法，用来实现更精准的AF对焦性能，更精准的AWB白平衡算法，更准确的AE曝光策略。若只是这三个功能的话，这个芯片的亮点并不足。

VIVO

VIVO近日发布的V1 则是一款专业影像芯片。据小道消息，这个芯片不仅会对摄像头的拍照性能做一定的优化，还将对屏幕侧进行一定的显示增强。

按VIVO胡柏山的说法，VIVO V1芯片开发历时24个月，并且动用了超过300人的研发团队。VIVO此举说明不再想只是与Samsung对Exynos系列的芯片展开合作，更希望通过做一些差异化的芯片，让自家的手机有一些差异化的性能。

OPPO

OPPO旗下的芯片公司Zeku哲库也在紧锣密鼓的开发自研芯片。相对VIVO在V1上 300人的研发团队，Zeku则已经扩张到了千人以上的研发团队。据了解，Zeku这边的开山之作也是一颗PreISP芯片，这颗芯片已经回片，预计会加载在OPPO明年3，4月份上市的Find X4系列手机上。而Zeku不仅会去做PreISP芯片，还会去开发手机主控SoC，5G modem，电源管理等芯片。目标基本就是构建一支类似Apple，Samsung以及华为的自研主控芯片的团队。

另外，类似小米的C1，VIVO的V1，OPPO 注册了一个商标M1，不知道M1会是这个PreISP，还是自研的主控？

PreISP的新特点

除了小米，OPPO，VIVO，据说还有一家品牌公司也在开发PreISP公司。所以明年高端旗舰机的最大亮点可能就是在PreISP上了。而这一波PreISP 跟之前有什么不同呢？

其实今年的这一波PreISP还真跟2017年的不同。2017年的Samsung只是将ISP pipeline外置而已，Rockchip的芯片，只是方便客户将自研的ISP算法跑在DSP上。今年的OPPO，VIVO，还有那个未公开的公司都是将ISP算法跑在NPU上了。目前高通888系列芯片的算力已经高达15TOPS，年底推出的898的算力更高，为什么芯片公司还要用自研NPU去PK呢？

这里面有几个原因：

• 传统芯片虽然都有NPU，但是一般手机都是拿来做一些简单的功能。如相册分类，图片识别，语音识别等功能。很少有用来做图像识别相关算法。

• 对于各个品牌手机公司来讲，开发基于NPU的自研算法，主要就是为了做差异化。而用来高通的NPU后，势必需要跟高通深度合作，而这就极有被友商知道自己的做法，甚至被高通获知改善自己的ISP，从而使自己开发的算法变成公开的算法。

• 另外目前手机主控SoC的功能太强大了，若将此功能放上去，势必造成主控SoC的功耗过大，而使得功能无法完美的使用。

• 最重要的就是，高通的NPU并非为ISP优化的NPU，而是一个通用NPU。而自研PreISP会根据自研ISP算法，设计专用的NPU，所以从能耗比来讲，用高通NPU来跑相关的ISP算法，无论是功耗，还是性能都无法与外置PreISP相比。

那先不管是用高通的NPU还是外部芯片的NPU，用NPU跑ISP算法，都能有哪些优势和劣势呢？

• NPU-NR（降噪）。降噪是手机ISP非常重要的一个功能。为什么很多人夜间拍照或录像发现无法提升亮度，是因为暗光下，Camera sensor成像会产生非常多的噪点。传统ISP 主要是通过WNR（小波降噪），3DNR（3D降噪，即用图像的连续帧对比，来判断图像上哪些点是噪点）的方式，降低噪声，从而提升图像亮度。而NPU-NR则是通过各种AI模型，去除相关的噪声。

• NPU-HDR（宽动态）。目前手机用宽动态的还是不多，主要目前HDR 需要多帧处理，若拍照人员使用不当，HDR效果并不好。同NPU-NR一样，NPU-HDR也是通过各种AI模型，帮助手机实现更高的宽动态，应对各种逆光，背光场景的拍照和录像问题。

• NPU-Remosaic。传统camera sensor都是RGGB Bayer Pattern，而这两年各种Pattern都出现了，比如华为这几年用的RYYB sensor，OPPO 和友商推出的RGBW sensor。后面两种特殊的Pattern，就需要用Remosaic 模块还原成实际的图像，并获取更多的亮度信息。虽然说这方面也有一些传统的算法，但若采用NPU做Remosaic，有机会针对不同sensor进行不同的优化。

• NPU-Depth。前两年手机最炫的技能就是Bokeh（虚化）技能。之所以能拍出虚化效果，主要是通过双Camera对图片上的信息进行了分割。而NPU-Depth的好处是一方面可以将信息分割的更加准确，另一方面还可以实现视频级的深度信息，而非传统的图片级的深度信息。

当然，NPU也不是万能神药。NPU的缺点就是需要大量的抓图，训练，测试，重抓图，重训练。对不同的场景，都可能需要重新抓图，重新写算法，重新训练，这样工作量也变的非常多。

今年小米的C1 发布后，最终用户的反馈一般，而VIVO的X70则要在9月9日发布，不知道是否真的像宣传一样在夜拍和视频录制上带来诸多改进？当然，小编也非常期待搭配在高通最新旗舰芯片898的Find X4上的PreISP和另外一款搭载手机的PreISP 是否能有更优异的表现了。