华阳数码特“煜眼”技术扩展汽车AI视觉算法应用

作为智能汽车AI视觉算法系统最主要的传感器之一，摄像头除了作为人眼的延伸，需要看得清之外，更需要看得准。因此，如何进一步提升摄像头的性能，进而提升整个AI视觉算法在环境感知过程中的准确性，成了业界共同关注的问题。

目前来看，仅仅依靠摄像头制造工艺的一致性及摄像头在车上安装的一致性，已经很难满足AI视觉算法对于摄像头精度的要求。比较之下，通过在摄像头生产工艺中进行内参标定，可以更好地提升AI视觉算法精度，故而正逐渐成为解决此类问题的重要手段之一。ADAYO华阳数码特“煜眼”技术，在生产线上即可快速准确地标定摄像头内参，并将内参保存在摄像头内，在摄像头AA工艺上更进一步提升了摄像头的精度，从而保证ADAS应用的算法精度，改善用户体验。

摄像头感知误差受多重因素影响

在设法提升摄像头精度之前，首先要弄明白摄像头的感知精度究竟会受哪些因素影响。整体来看，主要有两大方面的原因：

1、受摄像头本身一致性的影响，包括镜头的误差、装配误差

▅ 摄像头镜头的误差：由镜头的镜片加工误差及镜片在镜头内的组装误差产生，通常会产生两类问题（计算以像素大小为3微米的100万像素摄像头为例，下同）：

焦距误差：主流的镜头的焦距误差规格为±5%，仅考虑焦距误差一项，比如1mm的焦距变化5%，主光线角度为20度处，会产生6个像素的误差；

镜头的畸变误差：镜头厂家一般可向摄像头模组厂家提供径向畸变曲线，这条曲线一般是镜头的测试平均值或者是理论设计值，实际每颗镜头的畸变与此都会有一定的偏差；另外由于ADAS用镜头的畸变虽然主要是径向畸变，但是畸变曲线只能反映径向畸变的情况，无法反应镜头的切向畸变，而镜头的切向畸变多少是存在的，严重时会达到2个像素的误差水平，降低摄像头的精度和一致性。

▅  摄像头的装配误差：主要有光心偏差：摄像头传感器的中心与镜头光轴的错位。虽然高清摄像头一般都采取了AA（主动对准）工艺，但仅靠此工艺，一般也只能保证光心±5个像素的水平。

▅ 一般摄像头主要几何误差大小：

以水平视角120度，1 mm焦距，像素3微米大小为例

以上误差均与摄像头内参相关

2、受摄像头在车上安装一致性的影响

摄像头外壳定位结构的精度、摄像头安装支架的精度以及汽车结构件本身的精度，都会影响摄像头的安装角度及位置，这些因素综合起来，产生2度的角度误差是很可能发生的。

这一因素虽然是摄像头外参，但要将摄像头的安装误差标定准确，首先也要求摄像头内参准确。

“煜眼技术”助力AI视觉算法优化

AI算法通过标定摄像头的内参与外参，可以大幅消除上述误差的影响。如果摄像头本身的内参和理论内参有误差，或者同一批次摄像头的内参数据的离散性较大，都会对AI算法的准确标定带来困难。

华阳数码特“煜眼”技术采用独特的中心点算法及其它参数优化算法，可在线稳定、准确的测出摄像头内参，并将内参写入摄像头中，从而可以满足在线操作的节拍速度，对每个摄像头进行在线标定。写入摄像头的内参可以直接被ADAS算法读取，通过算法进行有效补偿，来实现精准的物像测距和识别定位，提升AVP、APA、FCW、LDW、DMS、OMS等应用领域的算法精度，给车主提供更好的用户体验。

“煜眼技术”在ADAS中的应用

1.在 AVP、APA、AVM、VSLAM、FCW、BSD、PCW、AEB 等需要使用摄像头进行距离判断（有时是协助其它传感器进行距离判断）或图像拼接的应用中，对摄像头物像的位置对应关系有比较高的要求，对摄像头进行内参精准标定，修正摄像头之间的差异，可大幅提高算法的精度，从而改善用户体验。

不管是摄像头内部的几何误差（用像素表示），还是摄像头在车上安装误差（用角度表示）都可归结为角度误差。

假如摄像头的安装高度为1.3米，摄像头1度的误差，在地面上会产生的测距误差如下：

摄像头安装位置越低，地面目标越远，测距误差越大。

从上面计算可以看出，摄像头成像的几何精度，对地面物体的距离判断至关重要。“煜眼”技术可以将中心偏差及畸变一致性控制在全视野范围内2个像素之内。

2.在LDW、DMS、OMS、TSR等主要以目标识别为主的应用中，特别是使用了机器学习的算法时，使用“煜眼“技术标定的摄像头内参，能有效消除成像的畸变，明显提高算法的识别精度。这是因为进行机器学习的训练时，一般使用的是没有畸变或畸变较小的镜头采集的训练影像数据，实际使用时如果使用FOV大于100度的摄像头，影像畸变大，会降低识别率，从而影响AI视觉算法精度。

目前行业内通常是通过摄像头内的ISP（图像处理器）的能力，使用固定的几个参数进行畸变校正。但是ISP的畸变校正能力非常有限：径向畸变一般不能完全校正（比如校正后留有10%左右的畸变），一般也不做切向畸变校正，更无法校正畸变中心，此方法对于AI视觉算法要求的摄像头鱼眼畸变小于1%的指标，仍有重大差距。

以下为一款摄像头在使用“煜眼“技术标定内参并应用内参作畸变校正前后的图像对比：

（使用“煜眼”技术测定内参后，畸变率可控制在0.5%以下，从例图中可以看到校正后，地板的经纬线横平竖直）

ADAYO华阳数码特“煜眼”技术的理念是用最精准的AI传感器，助推自动驾驶技术，带来美好的科技生活享受。自2019年推出到现在，目前“煜眼”技术已经获得包括百度在内的多家知名自动驾驶公司的认可，并已在多个车厂项目上落地。最新进展是搭载百度AVP自主泊车的威马W6车型，全系使用华阳数码特的带有“煜眼”技术的摄像头，为威马W6车型特定场景的无人驾驶技术保驾护航。此外，华阳数码特“煜眼”技术在百度最新推出的基于纯视觉的自动驾驶技术ANP（领航辅助驾驶技术，达到L4的技术水平）和江淮新能源的DMS项目上也已落地，“煜眼”技术的应用领域已经扩展到自动驾驶技术的多个应用领域。

作为ADAYO华阳集团汽车电子业务的重要力量之一，华阳数码特愿携手更多自动驾驶技术及合作伙伴，共同探讨“煜眼”技术在自动驾驶领域的无限可能，并期待与更多自动驾驶技术厂商及主机厂合作，为广大车主提供美好的科技生活享受。