高级自动驾驶系统的新型三大感知能力要素分析

自动驾驶传感器配置需求随着汽车智能化和电动化的快速发展不断增加。当前的传感器趋向于从探测范围、探测精度、探测能力上进行不断优化以便适应更多的边缘场景。使用更高级能力的传感器到底能带来哪些优势，又能解决哪些问题，如何对车身周围配置的传感器进行最优化配置和选择将是我们必须要面对的问题。

高阶自动驾驶系统的传感器仍然按照当前自动驾驶系统一样，配置了包含毫米波雷达、摄像头、激光雷达、超声波雷达等传感器配置。然而，在毫米波雷达、摄像头、激光雷达的选择上却是增加了几个台阶。首先，是毫米波雷达采用了4D高精度毫米波雷达，从分辨率角度得到质的飞跃。其次是，摄像头采用了高清摄像头，其分辨率的巨大提升使得其更加容易探测出更小的目标。最后，是激光雷达从原始的机械式激光雷达向MEMS甚至Flash激光雷达的转变。

本文将针对如上三类传感器的转变详细说明其对自动驾驶系统探测能力到底有哪些提升。

4D毫米波雷达优势

从当前已经出过得自动驾驶事故（无论是特斯拉的大卡车相撞还是蔚来汽车主装上高速作业车）中不难看出，高速自动驾驶最容易出现事故的地方就是在于传感器对于静止目标的识别上。当前，驾驶辅助系统架构常采用摄像头融合毫米波雷达的方式进行检测，而对于静止目标的识别主要是依靠摄像头的视觉检测，由于视觉感知的目标都必须经过模块或算法训练，而数据模型中无法涵盖所有类型目标数据，且识别过程中通常采用的图像分割会把静止目标当成背景区域而过滤到，因此，视觉检测很难做到对目标的有效识别。

这时，很多情况下会依靠传统毫米波雷达进行静止目标检测。而由于当前的毫米波雷达是不具备测高能力的，这就意味着其检测过程中难以判断前方静止物体是在地面还是在空中，无法细化刹车场景，容易出现如下情况的误检测导致AEB误制动或漏制动。

高阶自动驾驶系统采用了4D毫米波雷达，其原理是指在原有距离、方位、速度的基础上增加了对目标的高度维数据解析，能够实现“3D+速度”四个维度的信息感知。主要的感知参数表示如下：

除开如上述的检测能力外，4D毫米波雷达又称为“成像雷达”，其中的成像概念是指其具备超高的分辨率，可以有效解析目标的轮廓、类别、行为。这意味着4D毫米波雷达系统可以适应更多复杂路况，包括识别较小的物体，被遮挡的部分物体以及静止物体和横向移动障碍物的检测等。

具体来说，对于4D雷达来说是如何提升目标信息检测能力从而提升自动驾驶系统控制能力的呢？

1、4D雷达高分辨率点云

首先，成像雷达可提供精度更高的道路边缘信息，为高速行车与变道提供更精确的辅助定位信息；对静止目标尤其是拥堵条件下目标探测精度更高，可以有效避免追尾等安全事故。

如何做到的呢？很多工程师以为是其分辨率提升促使其深度学习可以更好地利用在点云匹配学习算法中，但是笔者并不这么认为。因为再强的深度学习碰上毫米波雷达那样稀疏的图像也基本无能为力的，能检测到静止目标主要还是因为其能够有效检测高度信息。4D毫米波雷达增加了俯仰角天线通道，通常这种通道数的增加会使得其雷达芯片的运算量成倍的增加。

2、AI深度学习的目标识别

其次，自动驾驶中最难的场景之一是对于行人的识别能力，而当前的识别往往依赖于摄像头，如果我们基于成像雷达的高分辨特征是否能够对其行人的识别产生好的辅助效果呢？答案是肯定的。这个过程主要是结合行人摆臂、车轮转动等微动特征，利用更高分辨率的时频分析方法，提取目标的微多普勒信息，通过机器学习等目标分类方法，进行VRU目标的微多普勒识别。

3、基于毫米波雷达的高精定位

众所周知，高精定位系统的检测过程需要相应的传感器建立密集的毫米波雷达点云信息，且依托于环境结构，且不受雨、雪、雾等环境因素的影响。而这些要素则是毫米波雷达本身所具备的能力。因此，利用毫米波雷达本身就可以进行简单的定位建图，这里我们称之为RSLAM。而如果系统本身搭载了诸如激光雷达或高清摄像头，则毫米波雷达的建图能力可以很好的作为该两者的辅助传感器。

4、硬件处理能力

4D雷达成像主要的部件包括比3D雷达多更多的收发天线，同时最重要的是其双板处理芯片：一块用于RF收发器（主要是PCB板搭载的多跟收发天线）、SRAM数据采集和USB类型的数据流；另一个用于数据处理（包含基于点云的深度学习）和BT/Wi-Fi连接。因此，很多毫米波雷达供应商通常还采用芯片级联或通过软件新建虚拟发射天线的方式增加发射端对环境物体的点云信息搜集比率。一般的，高分辨成像雷达随着级联芯片的增多，点云密度与精度越来越高，通过人工智能（AI）中深度学习等在雷达的应用就带来了更多优越的先验条件（比如点云聚类），接近于视觉的分类效果。

高分辨率摄像头是否能够带来质的飞跃

随着整车E/E 架构的演化趋势，传感ECU 也开始由分布式向集中式进行演变，其中的算力也不再向以前一样由各分ECU来承担，而是由中央处理器进行集中式处理，这一过程中的计算机视觉及图像处理则由中央域控制器进行软件集成，而摄像头将只用于“图像采集”的纯sensor。

随着自动驾驶级别的提升，对摄像头的要求也越来越高，其中主要体现在对摄像头的分辨率上，从最开始30万像素实现基本的全景泊车升级到100多万像素实现半自动泊车，又发展到现在的200万像素实现基本的行车对中控制。并且随着自动驾驶级别对于感知能力的进一步提升需求以及市场需求的推动，未来的高级别自动驾驶车辆中都在规划应用800万级别的高清像素摄像头，用于对更远距离的目标进行识别和监测。

从基础能力上看，升级为800万摄像头最大的挑战在于其对感知算力的大幅提升。举个例子，像地平线目前对800万摄像头的处理demo实验，采用了J3对其进行算法处理，这无异于小马拉大车，导致不得不将高分辨率图像进行下裁剪。裁剪后的图像其分辨率降低后，才可进行相应的包含语义分割、目标级匹配等处理。因此，类似高清车载摄像头需要有与高分辨率摄像头相匹配的算法和测试能力。

那么业界普遍关注的话题就是800万像素摄像头与算力、算法以及数据之间的关系。其中包括：

1、如果用高清摄像头（如800万像素）代替之前低分辨率摄像头，需要多大算力的芯片的支持，对于整个域控制器的发热量及功耗会有多大提升？

首先摄像头对算力的需求不仅跟摄像头自身的性能参数有关（位数、帧率、分辨率等），也和自动驾驶实际的应用场景和感知算法模型相关。

TOPS=Function(camera intrinsic parameters，usecase，perceptron algorithm)

比如，以前视为例，基于同样分辨率的摄像头，如果其应用场景仅限于识别车辆、行人、车道线、限速牌这几类目标，由于其算法匹配库中的模型是简单的，因此其对算力的匹配需求来说是一个相对轻量级的。若其应用场景需要系统识别的更多目标（包含一些不常见或异类目标，如落石、不明障碍物、红绿灯、路标）、探测的更远距离（包含一些小动物、小障碍物等）、更高识别精度（如更加清晰的航向定位、更加准确的距离、速度），对于如上这类应用场景的算力需求肯定是更大量级的。

2、新的高清摄像头是否需要将原来的算法结构进行大幅更新？

实际是使用高分辨率摄像头后，在算法方面并不需要完全重写，原有采集的数据可以作为深度学习模型的初始架构参数，而新采集的高分辨率图像数据则可以作为深度学习模型中更新和优化其架构的参数的数据源。

对于如上的说法，需要充分考虑其低分辨率的摄像头目标检测算法是否已经应用到了AI神经网络训练算法，还是只是简单的模式识别算法。因为，诸如像做L1或者L2这样的简单驾驶辅助功能，很多时候对于摄像头的检测能力只需要满足简单的车道线或者标准的车辆等一些简单的检测方案。这样的检测过程压根可能不需要进行AI算法训练和神经网络加速，而是通过类似于构建ARM核进行逻辑运算便可以满足要求（这样就可以说SOC中的CPU资源就可以满足）。因此，从算法复杂度，算法策略及算法构建的模型参数上考虑，高分辨率摄像头都是没办法完全复用低分辨率摄像头算法的。另外，从硬件资源上讲，处理高分辨率摄像头数据所需要的SOC往往是更高级的SOC，不仅其中的AI运算单元得到了极大的提升，而且其中的逻辑算力也是提升到了新的高度，这就导致对于原始低等级驾驶辅助系统所训练的算法无法在新的SOC上做到很好的适配。因此，这也往往促使其改进相应的AI算法模型。另外，诸如像采用相同供应商的系列芯片这种方式，也有可能存在相类似的情况，比如当前采用地平线的J3进行算法训练所产生的产品，到其升级到J5后，很有可能就会在当前算法的复杂度上实现较大的提升了。

3、当摄像头传感器得到升级后，低等级的自动驾驶系统架构采集的数据是否可以直接应用于高等级自动驾驶？

自动驾驶算法的构建和迭代都是以数据作为驱动的，尤其是感知和预测模块，并且很多时候都是要在过程中做到很好的数据闭环。

自动驾驶的算法模块，尤其是感知和预测模块，基本都是数据驱动，可见数据对算法迭代的重要性。这里需要说明的是，很多智能驾驶算法公司都是前期通过数据采集进行算法训练参数得到的，而低等级智能驾驶系统的数据采集往往采用了低等级的传感器，不管是在分辨率、检测距离、误检漏检等方面均不及高等级自动驾驶。因此，对于高分辨率摄像头检测而言，除了需要通过之前采集的数据继承低像素摄像头的一些基础性能外，也可以通过场景建模来实现部分场景重构。此外，对于一些极端场景，则需要利用高分辨率摄像头进行数据采集和重新的算法训练，进而无限的提升其检测效果，实现数据闭环。

4、高分辨率摄像头是只进行前装（前视摄像头）还是整个铺开（侧视、后视摄像头）？

对于高阶自动驾驶系统来说，前视需要解决的场景最多，目标识别任务最复杂，比如远距离小目标识别，近距离目标切入识别，这两者对于摄像头的波束开角和分辨率都有较高的需求。对于侧视和后视摄像头来说，其感知场景的要求则相对简单些，这两者的主要需求都基本在对于自动变道场景的侧后方目标探测上。因此，从成本和效率上讲，侧视/后视场景采用一般分辨率的摄像头即可满足要求。而对于环视摄像头而言，通常是在中低速情况下通过大视角短距离检测泊车入位的车道线和车辆目标。因此，采用中低分辨率摄像头也能够满足目标探测要求。同理，对于智能座舱内的摄像头，通常采用的是包含驾驶员在位识别、人脸识别、情绪识别等，基本上采用适中的摄像头分辨率即可。

当然，对于如上摄像头能力配置，可以在一定程度上通过模拟实际场景并通过算法迭代来找到最优值。比如，利用响应曲面法找到最优值。

5、相同探测要求下，摄像头分辨率是不是越高越好？

其实不然，高分辨率摄像头由于其探测范围更远、探测结果更清晰，且其具备更宽动态范围（HDR）和更优质的LED频闪消除功能（LFM）。但是其低光照强度下的感知效果相对会差一些。这是因为同等条件下，摄像头分辨率越高，其单像素尺寸就会越小，这就导致其在低照度下的光电转换效率就会低一些，从而影响在光照不足时摄像头的表现。

此外，对于高清摄像头在带宽、数据量等方面的需求也是呈现指数级别的增长，这就导致其对于周边关联部件和网络的需求也呈现较高的能力需求。因此，对于自动驾驶系统来说，在进行摄像头方案选型时候需要在分辨率和探测效能上做一个权衡。

如何利用激光雷达优势才能真正满足自动驾驶需求

同样是雷达，毫米波雷达的金属反射电磁波性能远比人体要高，因此针对像自行车或行人这样的反射物在距离检测车辆1.5米时，普通采用3发4收单片3D毫米波雷达对自行车也几乎只能检测到一个点，甚至检测不到。即便是成像毫米波雷达，对于行人、锥桶这类物体也只是一个小点，普通雷达则完全检测不到。从这一点上讲，显然成像毫米波雷达无法和激光雷达成像相提并论。激光雷达用于下一代自动驾驶系统可以极大程度地提升其系统探测能力，已经是一个不争的事实。这方面的优势主要体现在其优质的探测能力可以解决很多当前自动驾驶系统无法解决的一些边缘场景，包括车辆Cut-in、检测车后突出物、道路中的异形物等。

那么关于激光雷达，大家究竟关心什么？

其实，无论对于主机厂还是供应商，对激光雷达的要求无非就是性能（包含测距能力、精度、视场角、分辨率、刷新帧率、体积、功耗等参数）、可靠性（运行稳定性、一致性、是否符合车规级别）和成本（设计成本、物料成本、生产成本）。

1、探测距离与精度：

我们知道，激光雷达最重要的部分是收发模块和扫描模块。激光收发效率越高，信号处理能力越强，则测距能力越强。激光雷达实际使用中，测距能力也和被测物体的反射率相关，反射率越高，收到的反射光就越多，测距就越远，测得的距离也越精确。因此，测距能力主要由收发模块决定，包括激光器的发射功率、发射波段、探测器的探测灵敏度等。我们在额定探测距离及其精度的时候一定是附带在某反射率下来谈其探测目标的距离的。

2、探测范围

探测范围主要通过视场角、分辨率和刷新帧率来定义。视场角主要由激光雷达发射激光点的方向相关，而分辨率则是和发射点频率相关。发射点频率指的是激光雷达每秒完成探测并获取的探测点的总数目，类似摄像头的总像素的概念。因此，相同探测场景下，激光点频越大，说明激光雷达对目标物的感知能力越好。

使用发射点频率来描述可以很好的解决类似激光刷新率和视场角大小不均匀带来的极端分辨率。

我们知道激光雷达的扫描都是采用二维扫描进行的。即包含水平扫描和垂直扫描，因此对于发射点频来说，可以通过输入的水平扫描和垂直扫描点综合描述。

如上情况，要想提高激光点频率，可以很大程度上提升刷新率，但是与之相反的是其分辨率也会很快下跌。因此，要想提高发射点频率的唯一办法就是提升激光雷达的发射本体性能，即发射内参来决定。这种广义内参实际是激光雷达本体需要考虑激光器性能需求、总功耗、寿命以及激光芯片的信号的综合处理能力。

3、功耗

激光雷达内部的电子模块需要每秒在百万次的量级上发设和接受光，并且每次收发都要经过复杂的模拟和数字电路处理把他转化为3D点云信号。因此，该电子模块需要大量的供电输出。同时，由于激光雷达的探测能力很大程度上收到其探测表面是否干净无杂质的影响，因此很多情况下要求激光雷达具备自清洗能力，而这一过程也是需要极高的电源供电能力的。

4、功能安全

激光雷达的可靠性主要取决于其收发模块和扫描模块，一般采用905nm的供应厂商，其收发模块的电子元器件相对容易过车规，比如博世的激光雷达，可以达到整体ASILB的安全等级，而人眼激光保护的场合可以达到ASIL C。相比之下，基于1550nm收发模块的器件都还处于相对早期，过车规挑战大。

5、成本

最后，不得不回到激光雷达最关心的核心议题，那就是成本问题，这也是制约激光雷达搭载率的重要因素。由于激光雷达的扫描模块很大程度上影响着其可靠性、稳定性。而收发模块则很大程度上影响着其性能指标。因此，从维持其功能和性能的角度上讲，激光雷达需要不断优化其相应的收发模块性能，从而在不增加成本的情况下增加其整体性能。

小结

从自动驾驶系统的传感器先进性升级角度上看，将搭载高清摄像头、优质的激光雷达、成像毫米波雷达来重点解决当前自动驾驶系统可能遇到的各种边缘场景问题。其中，升级为4D毫米波雷达，算法便可更多考虑毫米波雷达的感知结果，从而以更高概率识别路面上的静态障碍物，结合其高分辨率带来的优势，可以更有效地解析目标的轮廓、类别、行为，进而能知道在什么情况下必须刹车（避免漏刹）。视觉感知的挑战在于，目标障碍物必须经过提前训练，而模型库又不可能穷举所有类型，所以很多静态障碍物成了“漏网之鱼”，此外即使有模型库，另一个挑战在于神经网络能否正确识别出前方障碍物。因此，便经常出现明明前方有障碍物、自动驾驶汽车却依然撞上去的结果。高清摄像头正好从一定程度上可以解决部分该问题，但是也要注意对摄像头的选型需要遵循一定的原则。此外，从激光雷达的原理可以，激光雷达可以通过发射接收的点云自然的拟合出各种形状的物体，但是，激光雷达的使用也是需要从成本、性能和功耗等各个角度统一考虑其搭载的可行性。