历时24个月，300人研发团队，vivo发布VI ISP芯片！手机摄影进入硬件级算法时代
来源:核芯产业观察发布时间:2021-09-061481浏览
询问 AI9月6日，vivo正式发布自研ISP芯片V1。
vivo在影像技术上耕耘已久，确立了包括夜景，人像，运动防抖，变焦和视频的影像赛道。在夜景场景上，vivo和合作伙伴一起开发了增强感光能力的全新CFA技术，应用于IMX598X CMOS上；与蔡司联合研发的影像系统，在有限的空间内实现了超大光圈的光学设计，并首次将蔡司光学镜头和T型镀膜在vivo手机上实现，大幅改善了夜景的眩光等，显著提升夜景拍摄效果。此外，还有微云台稳定器，50mm焦段人像镜头，在防抖上不断精进。
那么，在影像技术不断提升的情况下，是算法重要还是硬件重要，这个答案主要通过三方面去解读。分别是影像芯片、光学器件、软件算法。
以成像速度和实时性来说，在当前的手机算力下，拍照计算成像算法，处理一张照片需要半秒到1秒时间。以30帧视频来看，每帧处理的算法时间不能超过33毫秒。这里有30倍的速度差异。60帧和12帧的视频则要求更高。过去，手机用一秒钟拍一帧的内容，现在要至少计算30帧的画面。
能耗是目前影像功能面临的另一个问题。运算密度的提升和功耗的下降是一对矛盾体。我们必须寻找大运算量，高速处理的方式。我们认为只有采用定制化芯片，与主芯片软件算法协作，软硬件结合才能释放主芯片的功耗负载，大幅改善用户的使用体验。
vivo并非首次推出定制芯片，早在vivo X1\XPlay中就引入了定制的HIFI芯片，2017年将定制的DSP图像芯片放入X9 PLUS中。
今天，vivo历时24个月，投入300人研发团队，与手机SOC厂商深度合作后，VI发布首颗自主研发的专业影像芯片V1。
VI是vivo主导开放的服务高速计算成像的专业影像芯片，是一颗全定制的特殊规格集成电路芯片。位于主芯片和显示面板之间，可以搭配不同主芯片和显示屏，与主芯片ISP之间采用高速双向互联，以极低延时进行数据交互。起到扩充ISP高速成像算力，释放主芯片ISP负载的作用，同时服务用户在预览和录像的需求。
区别于GPU与DSP，专业定制芯片在处理特定功能时具有高性能、低延时、低功耗的特点。在能效比上有指数级的提升。打个比方，假设CPU是综合业务员，GPU和DSP根据业务类型让一部分预约办理，复杂业务还是交回给CPU。V1则是给所有人明确业务类型，分成小组和柜台，同时处理。因此它既可以像CPU那样高带处理复杂运算，也可以像GPU和DSP那样并行处理。
为了让同期处理能力最大化，vivo创新优化了数据在内部的储存架构，和高速读写电路。做到了等效32兆的超大全片上缓存。片上高速缓存虽然贵但可支撑的计算密度和数据量更大。目前旗舰级桌面电脑处理器的缓存是16到24兆。
比如夜景视频的拍摄，通过V1进行降噪和插帧，可以用计算量大的算法模块，即MEMC技术进行运动补偿，在V1协助下主芯片在低光录像时以低功耗运行全高清60帧的MEMC去噪和插帧，提升了夜景影像效果。并且配合主芯片的降噪功能，进行二次提亮二次降噪。
由此可以得到主芯片ISP与定制ISP V1的1+1大于2的效果。由于将软件算法转移至V1专用硬件电路中，在高速处理同等成像计算算法时，V1专用硬件电路的功耗降低50%。
成像系统与光学器件密不可分，每一个器件的能力共同影响成像效果，因此无论拍摄效果提升如何，依然无法完全解决眩光，鬼影，边缘画质差等问题，有待手机提升整个光学系统质量来改善。
光学器件总监朱盼盼介绍，vivo选择高规格的玻璃镜片取代塑胶镜片，实现超低色散、高透光率、热稳定强等特性。视场色差方面相比于上一线设计值降低约70%。阿贝数是衡量色彩能力的指标，数值越高色彩越纯净。vivo使用的玻璃镜片阿贝数高达81.6，专业摄影机的阿贝数在80-90之间。
通过引入SWC镀膜技术，在镜头表面抑制反射光，这是一项基于仿生学原理的技术，应用SWC镀膜后反射率最低降至0.1%，显著提升影像，改善眩光和鬼影。
ALD镀膜原子层沉积工艺，通过特殊化学反应让原子一层层沉积，形成每层约0.4纳米的膜层，让反射均值降至0.25%，几乎无角度偏移，中心边缘一致性更好，进一步有效改善鬼影问题。ALD技术是vivo独家，行业首发，并已成熟用于量产阶段。
此外，对于花瓣鬼影，在滤光片和传感器之间吸收红光波长，vivo采用色素旋涂工艺，它也是国内第一家运用色素旋涂工艺的厂家。
vivo的色彩体系是基于对用户色彩需求的理解，定位于鲜活、明快、有质感，同时专业创作者会更加忠实还原人眼所见的自然色彩。
vivo影像产品经理王兆丰表示，由于每个人对色彩的理解不尽相同，vivo选取色块更丰富的140色卡进行精细化的标准定义，选取了80个实拍场景进行实景效果验收。借助更精细的色彩调试算法支撑效果实现，经过粗调试和精细调整，最终使照片的色相准确度ΔE收敛了约15.5%，为业内领先，在较小的ΔE和仍然良好的饱和度中找到平衡。
vivo选择以蔡司Biotar 58/2.0和Biotar75/1.5为代表的Biotar镜头，将旋转焦外成像特点为人像拍摄赋予绝佳的“氛围感”，配合vivo在人像领域的软硬件加持，在手机上重现蔡司经典人像风格。
为了实现多维度影像体验，vivo还加强了AI人脸增强算法、延时摄影功能、Log模式、超级夜景RAWHDR3.0算法、SuperRAW等。
vivo在影像技术上耕耘已久，确立了包括夜景，人像，运动防抖，变焦和视频的影像赛道。在夜景场景上，vivo和合作伙伴一起开发了增强感光能力的全新CFA技术，应用于IMX598X CMOS上；与蔡司联合研发的影像系统，在有限的空间内实现了超大光圈的光学设计，并首次将蔡司光学镜头和T型镀膜在vivo手机上实现，大幅改善了夜景的眩光等，显著提升夜景拍摄效果。此外，还有微云台稳定器，50mm焦段人像镜头，在防抖上不断精进。
那么，在影像技术不断提升的情况下，是算法重要还是硬件重要，这个答案主要通过三方面去解读。分别是影像芯片、光学器件、软件算法。
vivo重磅发布V1 ISP芯片
以成像速度和实时性来说，在当前的手机算力下，拍照计算成像算法，处理一张照片需要半秒到1秒时间。以30帧视频来看，每帧处理的算法时间不能超过33毫秒。这里有30倍的速度差异。60帧和12帧的视频则要求更高。过去，手机用一秒钟拍一帧的内容，现在要至少计算30帧的画面。
能耗是目前影像功能面临的另一个问题。运算密度的提升和功耗的下降是一对矛盾体。我们必须寻找大运算量，高速处理的方式。我们认为只有采用定制化芯片，与主芯片软件算法协作，软硬件结合才能释放主芯片的功耗负载，大幅改善用户的使用体验。
vivo并非首次推出定制芯片，早在vivo X1\XPlay中就引入了定制的HIFI芯片，2017年将定制的DSP图像芯片放入X9 PLUS中。
今天，vivo历时24个月，投入300人研发团队，与手机SOC厂商深度合作后，VI发布首颗自主研发的专业影像芯片V1。
VI是vivo主导开放的服务高速计算成像的专业影像芯片，是一颗全定制的特殊规格集成电路芯片。位于主芯片和显示面板之间，可以搭配不同主芯片和显示屏，与主芯片ISP之间采用高速双向互联，以极低延时进行数据交互。起到扩充ISP高速成像算力，释放主芯片ISP负载的作用，同时服务用户在预览和录像的需求。
区别于GPU与DSP，专业定制芯片在处理特定功能时具有高性能、低延时、低功耗的特点。在能效比上有指数级的提升。打个比方，假设CPU是综合业务员，GPU和DSP根据业务类型让一部分预约办理，复杂业务还是交回给CPU。V1则是给所有人明确业务类型，分成小组和柜台，同时处理。因此它既可以像CPU那样高带处理复杂运算，也可以像GPU和DSP那样并行处理。
为了让同期处理能力最大化，vivo创新优化了数据在内部的储存架构，和高速读写电路。做到了等效32兆的超大全片上缓存。片上高速缓存虽然贵但可支撑的计算密度和数据量更大。目前旗舰级桌面电脑处理器的缓存是16到24兆。
比如夜景视频的拍摄，通过V1进行降噪和插帧，可以用计算量大的算法模块，即MEMC技术进行运动补偿，在V1协助下主芯片在低光录像时以低功耗运行全高清60帧的MEMC去噪和插帧，提升了夜景影像效果。并且配合主芯片的降噪功能，进行二次提亮二次降噪。
由此可以得到主芯片ISP与定制ISP V1的1+1大于2的效果。由于将软件算法转移至V1专用硬件电路中，在高速处理同等成像计算算法时，V1专用硬件电路的功耗降低50%。
器件方面的创新
成像系统与光学器件密不可分，每一个器件的能力共同影响成像效果，因此无论拍摄效果提升如何，依然无法完全解决眩光，鬼影，边缘画质差等问题，有待手机提升整个光学系统质量来改善。
光学器件总监朱盼盼介绍，vivo选择高规格的玻璃镜片取代塑胶镜片，实现超低色散、高透光率、热稳定强等特性。视场色差方面相比于上一线设计值降低约70%。阿贝数是衡量色彩能力的指标，数值越高色彩越纯净。vivo使用的玻璃镜片阿贝数高达81.6，专业摄影机的阿贝数在80-90之间。
通过引入SWC镀膜技术，在镜头表面抑制反射光，这是一项基于仿生学原理的技术，应用SWC镀膜后反射率最低降至0.1%，显著提升影像，改善眩光和鬼影。
ALD镀膜原子层沉积工艺，通过特殊化学反应让原子一层层沉积，形成每层约0.4纳米的膜层，让反射均值降至0.25%，几乎无角度偏移，中心边缘一致性更好，进一步有效改善鬼影问题。ALD技术是vivo独家，行业首发，并已成熟用于量产阶段。
此外，对于花瓣鬼影，在滤光片和传感器之间吸收红光波长，vivo采用色素旋涂工艺，它也是国内第一家运用色素旋涂工艺的厂家。
算法部分的提升——忠实还原人眼所见的自然色彩
vivo的色彩体系是基于对用户色彩需求的理解，定位于鲜活、明快、有质感，同时专业创作者会更加忠实还原人眼所见的自然色彩。
vivo影像产品经理王兆丰表示，由于每个人对色彩的理解不尽相同，vivo选取色块更丰富的140色卡进行精细化的标准定义，选取了80个实拍场景进行实景效果验收。借助更精细的色彩调试算法支撑效果实现，经过粗调试和精细调整，最终使照片的色相准确度ΔE收敛了约15.5%，为业内领先，在较小的ΔE和仍然良好的饱和度中找到平衡。
vivo选择以蔡司Biotar 58/2.0和Biotar75/1.5为代表的Biotar镜头，将旋转焦外成像特点为人像拍摄赋予绝佳的“氛围感”，配合vivo在人像领域的软硬件加持，在手机上重现蔡司经典人像风格。
为了实现多维度影像体验，vivo还加强了AI人脸增强算法、延时摄影功能、Log模式、超级夜景RAWHDR3.0算法、SuperRAW等。
手机摄影进入硬件级算法时代
新闻来源：核芯产业观察，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。