小米为何要自研ISP芯片？

前言:

ISP技术将在未来几年内有较大的演进,因此现在是手机厂商开始自研ISP的一个很好时间节点。

作者 | 方文

图片来源 | 网 络

自研ISP与否影响最终图像质量

ISP(Image Signal Processor,图像处理器)是手机芯片系统中的重要组成部分,负责图像处理部分。

具体来说,在手机的照相系统中,图像传感器(CIS)负责提供原始图像,但和用户看到的最终图像相差甚远,而需要大量的后续处理,这些处理通常包括自动白平衡、去噪等,而不同的ISP将直接决定最终图像质量。

一般来说,无论是使用自研的ISP还是使用第三方提供的ISP,在使用在手机上的时候都需要经过大量的参数调整。

通俗来理解就是,ISP 所要做到的就是将“数字眼睛”的视力水平提高到“人类眼睛”的水平,让人眼看到数字图像时的效果尽可能接近人眼看到实景时的效果。

一颗优秀的ISP芯片再加上优秀的相机模组才能带来优秀的成像效果。

显然,如果是手机厂商自研ISP,则可以更好地根据手机的目标应用场景和CIS等来实现协同设计,其最终的图像质量效果往往会好过使用第三方ISP然后再去调整ISP参数。

手机厂商自研ISP的最根本原因还是照相系统在手机中是一个极其重要的组成部分,同时拍照质量也是决定手机消费者体验的一个极重要的参数。

主流手机厂商加入自研ISP行列

随着智能手机市场的发展,我们正在看到越来越多的手机厂商在自研ISP。

苹果和三星一直在使用自研的ISP芯片模组;

谷歌再其Pixel系列手机中也用上了带有众多实验特性的自研ISP;

华为自研ISP早已落地在自己的手机系列中;

此外,近些年来积极开发芯片的Oppo和Vivo也有消息正在自研ISP。

最近,小米也加入了自研ISP的行列,可见无论是在国外还是国内,手机厂商自研ISP正在成为主流。

小米自研算法的澎湃C1正式发布

此次发布的澎湃C1,采用了自研ISP+自研算法,并具备了更精细且更先进的3A处理能力。

澎湃C1具备双滤波器,能够进行高低频并行处理,数字信号处理效率提升100%。

这让澎湃C1具备了三大优势:

①能够实现更快且更精准的AF对焦性能,大幅提升暗光、小物件及平坦区域对焦能力;

②更精准的AWB白平衡算法,复杂混合环境光源精准还原;

③更准确的AE曝光策略,更佳的夜景对比度以及高动态场景表现。

简单来理解,就是小米把ISP中关于对焦、白平衡、曝光的三部分单独拿出来自己做了提升,并放在了澎湃C1里。

对焦其实一直以来都是安卓手机的一个痛点,澎湃C1的加入,就可以让手机可以更高效的对焦,随时都可以拍的清楚。

而曝光方面的提升则是让相机在不同光线环境下可以拍的更清楚,白平衡则主要负责让相机在不同的灯光环境下都能呈现出正确的颜色。

有了一个好的硬件基础,小米自己的算法就可以更好的应用。用自己的硬件芯片,加上自己的自研拍照算法,打造世界第一的影像能力,这就是小米澎湃C1芯片最初的目标。

小米目前在全球有5个国际研发中心,在国内还有5个研发中心,相机的研发团队超过1000人,包括几十人的核心专家团队。

自研ISP芯片对小米意义

照相却是大多数手机用户最在意的功能,在5G时代,这一趋势将继续得到加强,这也是小米如此重视ISP芯片的原因所在。

对于智能手机厂商而言,能够手握所有的IP,那自然是最好不过。如若不能,逐步实现单点突破也不失为一种策略。

虽然ISP芯片的重要性不如SoC,但也是智能手机中的关键部分,而且面对其他同行竞争对手时,可出的牌也多了一手。

在小米自研ISP之前,一直采用高通的 ISP 芯片,后者一年一更新,跟不上小米影像进步的速度。

如果小米拥有了自主研发的ISP,那么就不用顾忌不同品牌芯片的ISP差异,能够保证不同平台产品都能拥有接近甚至是相同的成像表现,无形中也降低了人力和研发的成本。

另外,相比于研发SoC,研发ISP的难度相对要低得多,对小米的半导体业务来说更容易胜任。

从长远来看,小米完全可以从ISP切入,逐步过渡到更多的自研芯片领域,进一步提升芯片的自主化。

小米的自研芯片之路已过七年

2014年,小米开始筹备“自研芯片”。同年,松果电子成立,作为小米全资子公司,主要从事半导体芯片研发。

彼时小米手机一方面因专利和自身基础不足出海受阻,另一方面又看着苹果、三星、华为等厂商凭借自研处理器在手机市场遥遥领先,于是在2014年10注册全资子公司松果电子。

经过三年的时间,2017年2月28日,小米正式发布了自主研发芯片松果“澎湃S1”和首款搭载该处理器的智能手机小米5c,同时推出了低端机红米4X。

然而,即使发布会上澎湃S1的各项性能看起来很不错,澎湃S1最终的市场反应并不佳。最终,小米5C这款手机也更是在短短不到半年的时间就被下架。

2017年,小米成立了湖北小米长江产业基金,规模约人民币120亿元,用于支持小米及小米生态链企业的业务拓展,主要投资半导体与智能制造等相关产业。

时隔四年,小米再次推出自研芯片,这一次小米选择了相比SoC难度更小,但在智能手机红海大战中同样重要的ISP。

独立ISP会成为移动影像的趋势吗

小米 11 Ultra 用上了接近一英寸的大底,倘若后续没有光学突破的话,这已几乎是物理极限。

而目前的 CMOS 的像素数也处于军备竞赛的状态,应该很快就看到智能手机迈入两亿像素的门槛。

在移动影像上,只要物理光学的铁律还在,影响最终成像的其实还是传感器素质、ISP 处理能力以及镜头素质这些传统的方面,其他的只不过是锦上添花罢了。

于是乎,手机厂商们会定制 CMOS以求获得更好的成像基础,去在算法上精进,让最终成像更为自然,在镜头搭配上下功夫,求得适应更多的场景。

而独立 ISP,想要跟上述情形类似成为一大趋势,现在来看,为时尚早,准确的说应该是一个未来的大方向。

ISP仍然存在着较大的技术壁垒

现在,主要的智能移动设备的芯片厂商、IP提供商以及智能手机制造商都在推出自己的ISP芯片,但是ISP仍然存在着较大的技术壁垒。

首先,ISP中大量模块的算法是相互影响的,其众多算法需要诸多的调校工作在其中,这需要大量而长期的经验积累。

其次,作为商用的ISP,需要众多的新功能模块,比如X-talk串扰,VSM等模块的加入,这也增加了ISP的技术壁垒。

另外,ISP的技术需要长期积累,需求少、学习周期长,人才匮乏。因此ISP人才团队组建也是一个考验公司投入力度、技术积累的刚性条件。

自研芯片这条路从来都不是一件容易的事情,其涉及到资金、技术、市场等各个方面。

华为麒麟芯片也经历了十几年才有今天的市场地位,而小米作为芯片新人,澎湃项目更需要一步一脚印去实现。

结尾:

正如雷军发布会上提到:“澎湃C1芯片是小米自研芯片道路的一小步,也是小米影像实力的里程碑,更是小米对于未来科技的热爱。”

虽然回归的澎湃C1只是一款独立ISP芯片,但它承载着小米对技术的追求和梦想,这条路固然漫长,而如果能坚持积累和研发,澎湃S1和澎湃C1不会是小米的唯二自研芯片。