采用4D毫米波雷达和摄像头融合技术 PathPartner推出乘员监控系统

据外媒报道，产品研发和工程专家PathPartner近日宣布使用4D成像雷达技术和摄像头融合技术开发出OMS（occupant monitoring sensor，乘员监控传感器），旨在对基于摄像头的驾驶员监控系统进行补充。但PathPartner的DMS（driver monitoring system，驾驶员监控系统）能够将两者的优势结合在一起，为汽车制造商提供单一且成本低的组件。

PathPartner研发副总裁Vinay MK表示：“将摄像头和雷达结合使用可在弱光、嘈杂环境下显着提高精度。PathPartner的摄像头传感器带有近红外照明功能，可在不同照明条件下提供可靠性能。”当PathPartner的4D成像雷达技术作为驾驶员或乘员监控系统的一部分时，可以检测到车内的微小动作，甚至是呼吸，例如毯子下睡觉的孩子，或者是宠物。

（图片来源：PathPartner）

Vinay MK还表示：“基于摄像头的乘员监控系统可以检测安全带是否正确使用，以及乘坐者的体型，这些都是打开安全气囊的重要信息。该系统可监视驾驶员的活动，如吸烟、打电话、吃东西、饮水、发短信、分心、睡觉和突发疾病等。此外，它还可以检测到某些物体，例如空的婴儿座椅、悬挂的外套等。”

Vina还说：“4D雷达系统可在无光照条件下检测到座椅上是否有人，从而完美地补充基于摄像头的监视系统。60GHz雷达系统分辨率很高，能够检测到婴儿和成人的呼吸频率差异。将摄像头和雷达数据结合起来，可以在弱光条件下显着提高精度。”

Vinay表示：“儿童座椅上的婴儿即使盖着毛毯，仅通过4D雷达模块也能够检测得到。而在DMS中使用4D雷达的重要原因之一是识别车辆在驻车状态下是否有乘员。”

美国国家安全委员会报告称每年平均有39名15岁以下儿童被留在车内后死于中暑。因此，国会于2019年制定了《热车法案》（Hot Cars Act），要求美国运输部（DOT）强制所有新车均需配备儿童检测系统，PathPartner正在开发的乘坐者监控系统就是该系统类型之一。

为满足汽车制造商的需求，PathPartner DMS已移植到韩国半导体制造公司NextChip的Apache4，这是一种用于高级驾驶员辅助系统（ADAS）中视觉系统的预处理器。据Nextchip表示，Apache4含有一个专用的图像处理加速器子系统和优化的软件，可将计算需求降低70％。

Vinay说：“Apache4处理器高度集成，可提供先进的图像处理。与传统的基于矢量的分类器相比，其先进算法可提供更高的检测率，是欧洲NCAP（新车碰撞测试）主流市场采用的性价比较高的DMS解决方案。”

据PathPartner介绍，其DMS设计围绕多个小型卷积神经网络（CNN）模型，并与自适应机器学习模块相结合。通过这种混合架构，其成像雷达技术采用高通的DSP（数字信号处理系统），能以较小内存处理摄像头每秒提供的60帧图像。将PathPartner的SOM（system-on-module，高性能模块化系统）和智能摄像头参考设计套件与其设备工程服务相结合，可帮助设备制造商满足除汽车行业外的成像雷达需求，包括基于AI摄像头和IoT（物联网）的设备。

驾驶员和乘员监控系统不仅适用于自动驾驶汽车，商用车车队运营商也可以通过监控驾驶员提高其车队安全性。该技术还可用于监控后座乘员，从而确保不会有人或宠物意外滞留于车中。

PathPartner还与一家专注研发出行领域高级视觉系统的一级供应商建立了战略合作伙伴关系。但目前Pathparter拒绝透露该公司的名称。不过Vinay表示两家公司目前正在联合开发基于摄像头和雷达的乘坐者监控和驾驶员监控ECU，以支持系统的处理需求。

PathPartner的战略合作伙伴将在汽车级ECU上集成其乘坐者监控系统（OMS）和DMS算法。为了减少延迟，PathPartner并没有将数据传输至云端处理，而是将边缘计算应用于乘坐者传感器。对于汽车行业来说，这种方法安全性更高，并可减少对蜂窝网络数据传输的依赖，对于重视安全性的汽车系统而言，采用蜂窝传输数据并不总是足够可靠。