深挖第五种智能驾驶感知技术：解决低光场景感知痛点，实现量产，还低成本？

不久前，新智驾撰文《夜间场景，自动驾驶值得一说的「好故事」？》，认为夜间场景是高级辅助驾驶（ADAS）和自动驾驶天然存在着的商业需求，只是在实际应用和技术突破中尚存难点。

有意思的是，针对智能驾驶汽车在夜间低光或恶劣天气的棘手技术问题，有玩家号称可以一举攻破，并已装车量产。

近日，昆山星际舟智能科技有限公司（以下简称“星际舟”）对新智驾展示了，基于其自主研发的近红外光“门控”ISP 成像和识别技术，星际舟已生产出适用于白天、雨雪雾（霾）、夜间低光及炫光等场景的全天候ADAS L2+系列产品，同时，在使用最少传感器的前提下，也突破应用到了自动驾驶L3、L4级解决方案的全天候场景。

星际舟成立于2017年，是由海内外专家创办的高科技企业，创始人吴晓闯以及核心团队均来自于世界知名车企以及汽车供应商，在汽车领域有数十年工作经验，对汽车行业的技术开发有深入的研究和了解，在全天候感知识别、智能驾驶决策领域深耕多年。

然而，在车辆中运用新感知技术要想进一步获得行业认可，至少还需要回答以下问题：

1.我们当下熟悉的智能驾驶感知技术成本已被市场接受了吗？

2.智能驾驶行业为什么需要新的感知技术？

3.这种新感知技术有什么独特的竞争优势？目前处于什么进度？

4.从技术到产品再到量产，这对智能驾驶行业又意味着什么？

智能驾驶汽车感知技术的“老大难”

无论有人驾驶还是智能驾驶都要面对各种驾驶环境，人们对智能驾驶的期待之一就是要能在全天候环境下正常行驶、减少事故。但事实上下面的驾驶环境下会给驾驶带来很多问题，事故容易多发：

目前，智能驾驶所用的主要传感器包括“可见光摄像头”“毫米波雷达”“激光雷达”和“超声波雷达”，实际应用起来各有优劣：

不难发现，目前各类传感器突出的问题是在低光或恶劣天气工况都有明显的缺陷，因此自动驾驶中多种传感器同时使用是当前的一种解决方案，明显的缺点是成本高，潜在的故障点多。

即使使用可见光成像加激光雷达，也不能解决在恶劣天气下的感知和驾驶问题；在ADAS中，为节省成本，基本上采用可见光成像识别加上毫米波雷达，然而这种技术路线不能实现全天候下的高级辅助驾驶。

上述技术缺陷导致了一系列交通事故的发生，如在上列报道中提到的2018年优步的夜间撞行人事件。

又比如特斯拉Model 3的Autopilot自动辅助驾驶系统，它虽配有8个摄像头，前后共有12处超声波传感器，但在该车的产品说明书中，特斯拉还是指出能见度差（大雨、大雪、浓雾等造成）、强光（由于迎面而来的前照灯灯光或直射的阳光等）等因素会限制其辅助驾驶功能的使用。

美国AAA公司在2019年对都装有前碰撞刹车系统的雪弗莱Malibu、本田Accord、特斯拉Model 3、丰田Camry四款车进行测试时也发现，这些车辆的行人探测系统在夜间效率低，有明显缺陷，改善夜间效率可极大提升对行人的探测，这也与车辆的用户手册的描述一致。

美国国家公路交通安全管理局 (NHTSA)则表示，自2018年以来，特斯拉的Autopilot辅助驾驶系统或交通感知巡航控制系统，已经引发了11起车祸。在这些事故中，特斯拉的汽车撞上了带有闪光灯、发光箭头板或警示灯等的车辆，且大多数事故都发生在天黑后或黎明前。

类似地，欧洲2018年的ERSO报告也指出：车辆、行人、自行车等事故率高峰大多发生在低光环境（时段）。

智能驾驶诞生的初衷是为了提高行车安全性，解放人力，并拓广车辆的驾驶和应用场景，突破人可以操作的工况，但由于现有感知技术局限性，当前的高级辅助驾驶还不足以实现全天候工况下运行；而目前在自动驾驶中，则不得不使用过多的传感器来弥补单一传感器的不足，进而增加成本，增加故障点，而且并不能完全解决全天候工况问题。

因此如何突破技术瓶颈，提升智能车辆在夜间、雨雪雾霾、炫光等场景的安全性，迫在眉睫。

另外，就商业价值而言，为了提高安全性，降低保险费用，降低人力成本，货运、矿区、港口、环卫等细分场景，也对智能驾驶在夜间或低光工况下的应用有着十分迫切的需求。

国内外不少智驾企业已经开始探索相应解决方案。比如去年，阿里达摩院宣布已自主研发出用于车载摄像头的ISP处理器，达摩院自动驾驶实验室的路测结果显示，使用该处理，车载摄像头在夜间的图像物体检测识别能力比业内主流处理器有10%以上的提升。

元戎启行则在激光雷达的基础上，提出了自研的3D物体监测网络模型HVNet，表示即使在雨天、夜晚等条件下，也能精准感知障碍物。

除此之外，热成像传感器也渐渐走入行业的视线，它可以做到在无任何可见光的情况下对发热物体成像，而且能够弥补激光雷达无法对物体进行分类的自然缺陷，但其缺陷也是显而易见。

由于红外热成像技术主要是通过热辐射收集信息，热成像传感器对冷物体不能成像（车道线、交通标识牌等），相比可见光图像，其成像分辨率低、信噪比低、硬件耐用性差，对于径向运动物体的检测能力较差，成本也昂贵得多。

今年，苹果就有一项汽车夜视系统获得了专利，该系统结合了可见光、近红外（NIR）和长波红外（LWIR）传感器，苹果试图利用这几种互补的图像传感技术的组合，来解决夜间或低光环境下物体检测和分类的挑战。

另辟蹊径：第五种智能驾驶感知技术

面对以上种种当前传感器的局限性，星际舟找到了另一种突围方式。

据悉，星际舟研发团队自主研发了基于近红外光的门控成像识别技术，有效解决了在白天、夜间低光/炫光、雨雪雾（霾）等全天候工况下的成像和识别，基于此技术产品开发的ADAS产品和自动驾驶解决方案也适用于全天候工况，可突破目前智能驾驶汽车只能在好天气情况下使用的尴尬局面，还有望取代价格高昂的激光雷达传感器，进而减少了传感器的使用量，降低了成本，为自动驾驶突破从“开发，不计成本”阶段到真正可“用得起”的量产阶段奠定了基础。

“门控”技术则是系统可以根据外部环境自主调节快门与近红外光源脉冲的联动策略，使系统可以主动适应不同的复杂场景，使得功耗最小，成像效果更佳。

鉴于该成像模组的高帧率输出（>100帧/秒），星际舟建立了具有自主知识产权的“自适应切片网络模型”，再结合公司百万公里全天候数据集，实现了星际舟识别产品在白天、夜间低光及夜间炫光、雨雪雾（霾）和出隧道超级曝光环境下同时对物体成像识别，其效果如下列所示：

星际舟全天候成像识别及ADAS测试视频摘录：

星际舟产品架构 

除此之外，星际舟还自建了全天候成像仪自动化生产线。

根据介绍，星际舟全天候近红外核心门控技术具有自主知识产权, 其基于近红外门控技术实现的全天候成像模组亦属于国内首发，星际舟表示，这是行业内首家开发出具备全自动化组装及AA制程的全天候传感器生产线。

星际舟负责生产运营的张喜林则表示，这是世界上唯一一条基于近红外门控技术的成像模组产线，整线自动化程度超过85%，每年可量产60万套产品。

取代激光雷达？

星际舟表示，基于其近红外光“门控”ISP 技术开发的全天候成像识别系统，可实现在最低光源功耗下达到最佳的成像距离（25瓦/250米）和最佳全天候成像效果（白天、雨雪雾霾、夜间低光及炫光）。

目前，星际舟全天候目标识别的准确率达97%，其中行人有效识别距离达130米，车辆最远识别距离达200米，除此之外还能和毫米波融合，融合准确率达95%。

以近红外光“门控”ISP 技术为核心，如今星际舟已有全天候成像识别系统、ADAS和L4自动驾驶系列产品。

星际舟主要产品简介

而在ADAS和L4自动驾驶系统中，基于成像识别的测距较弱，为了安全冗余，星际舟加入毫米波雷达，这样的技术路线不仅解决了全天候工况问题，还具有目标测距的准确性。

更重要的是，基于近红外光“门控”ISP 技术的系列成像、识别产品，解决了传感器在夜间、低光及恶劣环境等工况无法解决的难题，加之融合毫米波雷达，这样的感知体系在ADAS和L4自动驾驶应用中，具备全天候感知的完备性，不需要使用激光雷达，因此具有取代激光雷达的潜力。

ADAS激光雷达在2021年爆发，长城、小鹏、蔚来和理想新车都推出了激光雷达方案，戴姆勒、保时捷、宝马、蔚来等企业纷纷投资激光雷达公司，许多激光雷达产业链企业也呈现出快速发展的势头。

但就目前来看，激光雷达还存在许多局限性，尤其在成本和潮湿天气环境下，有待于时间和资本的进一步投入。

据星际舟负责人介绍，星际舟的智能驾驶系统的成本则是激光雷达方案的八分之一到十分之一。

从近红外“门控”成像传感器的使用成本和应用场景来看，智能驾驶行业许多参与者的玩法有可能因此被一举颠覆，而这不是星际舟在自嗨。

现在全球很多车企已经重视做ADAS技术在夜间、低光等场景的技术积累，而星际舟基于近红外成像识别技术的系列产品已经被OEM接受，有些车企正在测试，有些车企已安装了星际舟的全天候成像识别及其ADAS系统，在中国实现首发。

目前星际舟的车规级全天候成像识别系统，已通过交通部 JT1242 AEBS 规范测试，产品也已和十几家国内外车企进行交流、测试，被誉为“世界领先”。

除此之外，星际舟的全天候AEB系统还助力中通“超级大巴”H12摘下了“2021中国商用车卓越产品奖.高端商旅之王”奖项，同时星际舟与美国通用汽车合作进一步开发下一代立体全天候成像识别;星际舟主要客户包括通用汽车、中通客车、中国一汽解放等。

星际舟的产品除了可应用在客车大巴、重卡等商用车上，还可进入乘用车;矿区、智慧公路、船舶等场景以及渣土车、水泥罐车等车型的后装市场。

总结

对于ADAS辅助驾驶系统和L3、L4级自动驾驶方案，此前智能驾驶行业总是不断在毫米波雷达、摄像头、超声波雷达和激光雷达这四种感知技术中比较，再根据自己的预算、企业定位和产品规划等因素，进行选型、系统集成和应用。

但目前智能驾驶感知技术在夜间或恶劣天气下常常歇菜，智能驾驶汽车在这些场景的想象力也由此阻滞。

星际舟则另辟蹊径，自主研发出了近红外门控成像识别技术，并且脱离设计阶段，建立具有自主知识产权的，生产该技术产品的专业产线，实现了从研到产的量产和商业化能力，不得不说确实为智能驾驶行业感知技术的发展指向了另一种可行方向，同时实现了真正意义上的全天候ADAS。

智能驾驶行业一个值得言说的新故事，正徐徐展开新篇章。