DRIVE Labs“常学常新”系列「第五站」：提高道路状况的可见性

DRIVE Labs 系列文章

第五站：提高道路状况的可见性

自然环境瞬息万变，雷雨、大雾以及白天黑夜的光线不同等都会影响自动驾驶汽车的行驶。此外，道路上其他汽车的灯光状态也会对自动驾驶汽车观察道路情况产生影响。因而提升自动驾驶汽车在不同环境中的“可视”能力对于保证安全驾驶而言至关重要。DRIVE Labs“常学常新”系列是 NVIDIA DRIVE 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章，共分 8 期主题，将为大家详细解析自动驾驶汽车如何一路“过关斩将”，以及 NVIDIA 技术与产品在不同场景中提供的支持，以便读者能更好地了解自动驾驶。

本期是第五期“提高道路状况的可见性”，将为大家介绍自动驾驶汽车如何利用 AI 和深度神经网络，“看清”不同光线及不同环境下的道路状况，以保证行车安全。

上期文章主要介绍了用于车周环境监测的 DNN 与 AI 技术，本期文章将紧接上期 DNN 的相关内容，介绍用于评估汽车摄像头可见度的 ClearSightNet DNN、用于汽车远光灯控制的 AutoHighBeamNet DNN 以及 AI 赋能的汽车光源感知等内容。话不多说，一起来看看吧！

真实的驾驶环境中的照明条件千变万化，白天黑夜的照明来源各有不同，不同路段也会因城市建设或道路状况有不同的照明条件，迎面而来或车前车后车辆的车灯也会对自动驾驶汽车的道路判断产生影响，因而保持自动驾驶汽车“观察”道路能力的稳定性并优化其根据实际情况进行灯光操作的能力，对于保持安全稳定的自动驾驶而言至关重要。

ClearSightNet 助力评估摄像头的可视性

ClearSightNet 深度神经网络

自动驾驶汽车依靠摄像头来实现对周围环境的观察。然而，一些环境因素，比如雨、雪和其他障碍，会影响摄像头的可见度。除了能够感知周边环境，任何一个可靠的感知系统都应当有推断出传感器所传输数据有效性的能力。

如以上视频所示，NVIDIA 基于三项必要需求，开发出了一种 ClearSightNet DNN，用以评估摄像头的可见度并帮助确定遮挡、障碍以及可见度降低的根本原因，旨在打造拥有可推理出摄像头失明的根本原因的能力、能够输出可操作的有意义的信息且能以最小计算消耗在多个摄像头上运行的深度神经网络。

ClearSightNet 根据摄像头失明的两种情况将摄像头图像分成不同的对应区域，这两种情况分别是遮挡和可见度降低：

• 遮挡部分是指摄像头被不透明遮挡物（如灰尘、泥土或雪等）遮挡或摄像头不包含任何信息（如因太阳照射而造成像素饱和）两种情况。在该情况下，感知通常会完全受损。

• 可见度降低则是指摄像头并未被完全阻碍，只是因为大雨、水滴、炫光和雾等因素导致可见度受损的情况。在该情况下，感知往往是部分受损，但依然被看作拥有较低的置信度。

ClearSightNet 输出示例。输入图像（左）和经 ClearSightNet 输出图层覆盖的输入图像（右）。在图中所示的情况下，84％ 的图像像素受到遮挡的影响，其中部分遮挡显示为绿色，完全遮挡显示为红色

ClearSightNet DNN 会在输入图像上覆盖一层图层从而实现可视化，通过分类显示可见度信息，持续输出端到端的分析以及关于摄像头失明的详细信息，例如，当可见度低时，车辆可以选择不开启自动驾驶功能，并提醒用户清洁摄像头镜头或挡风玻璃，或者使用 ClearSightNet 输出以通知用户摄像头感知可信度计算结果，由此对汽车实现最大程度的控制。

AutoHighBeamNet DNN

助力实现自动可靠的远光灯控制

光线太刺眼？AI 如何避免其他车辆的远光眩光

车辆行驶过程中，人类驾驶员或自动驾驶系统会根据道路照明情况调整汽车灯光，以“看清”道路具体情况。在夜晚，汽车一般会使用远光灯来增加车辆的夜间可视范围，但同时，远光灯也会产生眩光从而给其他驾驶员造成危险。为克服该问题，NVIDIA 利用摄像头图像训练了基于摄像头的 AutoHighBeamNet DNN（如以上视频所示），该 DNN 可自动生成输出以控制车辆的远光灯系统，从而提高夜间行驶的视野范围和安全性。

AutoHighBeamNet 从广泛的驾驶场景中进行学习，以期实现真正自主可靠的远光灯控制。根据摄像头图像中的情况，该 DNN 将车辆分为两类：任何一辆行驶中的汽车都会被定义为打开前大灯或尾灯的汽车；路边停放的所有灯都熄灭的汽车则被定义为非活动车辆。该 DNN 仅对根据摄像头图像中感知到正在行驶的车辆做出反应。

AutoHighBeamNet 是 AutoDrivingBeam 视觉感知模块的一部分，该模块的输出可基于汽车制造商的需求进行定制，以根据车辆模块具体输入信号产生相应的远光灯控制信号。远光灯控制信号可以采用两种不同的模式：

• 自动远光灯（AHB）模式，它提供二进制开/关控制。在 AHB 模式下（如下图所示），车辆的远光灯将在夜间照明不佳的情况下自动打开。但是当检测到行驶中的车辆进入视野范围时，远光灯会自动关闭并切换为近光灯。车辆远离后，远光灯将自动重新打开。

自动开/关远光灯控制示例

• 自适应驱动光束（ADB）模式，可精确控制各个远光 LED 阵列以创建无眩光区域（GFZ）。在 ADB 模式下（如下图所示），车辆通过使远光灯 LED 阵列前照灯中的各个 LED 变暗来防止给远处行驶车辆中的驾驶员造成眩光。与 AHB 模式相似，在车辆离开检测范围后，变暗的区域将自动变回全亮度状态。因此，在 ADB 模式下始终可以保持远光灯开启，以提高夜间行驶的安全性，同时也不会引起其他道路使用者眩光。

自适应驱动光束控制示例

NVIDIA 推出的 AutoHighBeamNet，利用 AI 克服了原有局限性，基于感知减少了迎面驶来的车辆大灯所带来的眩光影响，助力提升了自动驾驶汽车夜间行驶的安全性。

使用软件定义的 AI 优化光源感知

随着自动驾驶技术的不断发展，利用软件定义的 AI 来增强自动驾驶汽车的性能和功能，逐渐成为实现更安全、更高效运营的最新功能的关键方式。NVIDIA 使用软件定义的 AI 技术，在几周内显著提高了光源感知 DNN 的性能和功能，例如：增加范围、添加分类功能等。

NVIDIA 的光源感知 DNN 最初的版本采用固定功能设计方法，为自动驾驶汽车配备了自动远光灯控制模块，旨在区分有主动照明的车辆（与无主动照明的车辆，并使用这些结果提供输入信号来自动控制低/高光束切换。在光源感知 DNN 的最新版本中，NVIDIA 使用了软件定义的 AI 技术，可在不需要改变底层硬件和平台的前提下，通过软件更新快速增加和改善 DNN 功能。其中的最新功能包括：

• 扩大汽车前车灯和尾灯的检测范围：可检测迎面而来的车辆前灯与前方车辆的尾灯，同时，对于车辆前灯的最远检测范围超过 800 米；

• 路灯：将路灯作为一个单独的光源类来进行检测；

• 其他照明：检测交通信号灯或者甚至于摩天大楼的灯光等照明；

基于快速软件定义 AI，可创建一个全面的经过标记的训练数据集，并且能将其扩展到未来的用例。该数据集面向未来，捕获比单一固定功能特征所需的更多信息，并通过重新排列和重新处理数据标签，产生经过改进的训练数据集，以扩展和改进 DNN 的能力，且后续在功能更新过程中也无需进行成本高昂的重新标记工作。

NVIDIA 利用软件定义 AI，在短短几周内就于光源感知 DNN 的功能和性能方面取得了显著的进步，不仅增加了光源感知数量，还将检测范围提高了 4 倍。NVIDIA 基于 AI 实现的光源感知功能快速开发和迭代，证明了软件定义的开发方式存在的显著优势。在生产系统中，利用软件定义的方法可助力厂商通过 OTA 方式快速部署更新功能至消费者车辆之上。

未来，NVIDIA 的光源感知工作还将包括检测应急和服务车辆的应急闪烁灯，以及检测专用照明（如建筑区域使用的照明）等，不断拓宽自动驾驶车辆的光源检测范围，以实现更安全、全面的光源检测来支持自动驾驶汽车有关的灯光决策。

以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅，下期我们将在此基础上为大家介绍 NVIDIA 如何利用 AI 和 RNN 提高自动驾驶汽车的路况预测和规划能力，敬请期待！点击“阅读原文”，观看更多NVIDIA DRIVE Labs Dispatch视频，了解 NVIDIA DRIVE 软件如何助力自动驾驶。

往期精彩回看

「入门篇」：自动驾驶基础功能

「第二站」：基本路况感知

「第三站」：读懂交通标志与信号灯

「第四站」：监控车外的风吹草动

扫描下方海报二维码，锁定 NVIDIA 创始人兼首席执行官黄仁勋的 GTC 主题演讲！北京时间 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中国重播。深度解读 NVIDIA 加速计算平台如何推动人工智能、元宇宙、云技术和可持续计算的下一波浪潮。加入 GTC23，切勿错过 AI 的决定性时刻！