高可靠芯片搭配视觉演算法 影像式ADAS满足车规要求

搭载镜头的汽车系统日渐流行。各种中级轿车和入门级轿车纷纷加入该行列，以实现车道偏离报警和交通标志识别系统。事实上，据IHS汽车半导体研究报告分析，至2020年，车载镜头感测器市场将以每年超过一亿颗的数量增长。
欧盟新车安全评鉴协会(Euro NCAP)在其中起着重要作用。自2016年起，汽车制造商将有望搭载新型系统，用以侦测和避免与行人的碰撞(图1)。这就是所谓的半自动功能，基于镜头和雷达的技术，因其可识别行人并实施煞车功能，甚至操纵汽车转向，以避免碰撞事故发生，因此欧盟新车评鉴协会的五星安全认证将是触手可及(图2)。


图1　汽车搭载新型系统，将可侦测与避免和行人碰撞。
半自动驾驶软体须强健/可靠/安全


图2　搭载镜头、雷达技术的车辆，可辨识行人并控制车辆煞车或转向。
然而，真正的挑战是如何满足汽车级应用的高品质以及安全性需求。对于保护人身安全的系统而言，如果在这些重要方面有所妥协，将是无法容忍的致命缺陷。具体来讲，这也就意味着基于镜头的安全系统须能满足AEC-Q100的长期可靠性需求；也必须满足ISO26262汽车功能安全标准要求；此外，还须保证适当的硬体安全等级，以防止恶意软体攻击和IP盗取情况发生。

目前，业界共同面临的一个严峻挑战是，如何开发出一款既能满足上述三个基本要求，又能提供卓越应用效能的解决方案。事实上，如果无法安全、稳固地部署高度复杂的进阶驾驶员辅助系统(ADAS)应用，就无法看到自动驾驶汽车的广泛普及。

基于镜头的ADAS应用包括嵌入式硬体和软体解决方案，飞思卡尔(Freescale)与东软汽车电子(Neusoft Automotive)携手合作，结合高品质汽车微控制器与尖端汽车视觉软体提供强健、可靠、安全的半自动功能。

为打造一款开放、灵活的解决方案，飞思卡尔S32V234系列产品采用多个特定程式设计应用加速器，每个加速器都面向ADAS应用所需处理管道的一个特定领域。为执行典型镜头资料预处理，该平台采用一个可程式设计影像讯号处理(ISP)模组，用以执行电脑视觉处理任务，如梯度方向长条图(HOG)的整个或部分影像处理。

因采用IP提供商CogniVue的APEX2引擎中的两个实例，传统电脑视觉演算法得以加速提升。APEX2引擎是一个大规模的平行系统，包含六十四个针对视觉处理优化的计算引擎。此外，APEX2引擎由名为APEX核心框架(ACF)的软体层支援，使应用开发人员可以远离大部分底层复杂工作。

视觉处理要求非线性程式流或浮点数运算。S32V234系列方案提供四个ARM Cortex-A53内核，支援9200DhrystoneMIPS的通用精简指令集(RISC)效能需求。全部四核都包括单指令多资料扩展NEON，以进一步提升特定演算法效能。

为呈现一款令人瞩目且主要针对环视应用的图形化人机介面(HMI)，该系列方案还支援高效能图形处理单元，以满足OpenGL ES3.0、OpenVG 1.1和OpenCL 1.2等Khronos标准。

来自Vivante的产生实体GC3000图形处理器(GPU)可达到1.2GPixels/sec的图元速率和200M Triangles/sec的几何速率。其GPU着色器可提供高达39GFLOP/sec的效能。

为了提供将输入资料填入不同加速器所需的记忆体频宽，飞思卡尔采用层级记忆体结构，旨在保证晶片系统上最多数量的资料传输。采用这一结构有两个目的：减少外部记忆体元件的数量；减少晶片间讯号传输的功耗，这同时也是ADAS考虑的两个主要成本因素。采用这一技术毋须增加成本，即可实现50GB/sec左右的记忆体频宽。

这组高度程式设计化的特定应用处理器和相应的记忆体子系统可通过各种手段达到ISO26262标准的要求。为以最有效的方式使用现有可用硬体，设计目标必须避免重要资源的重置，且不影响安全性。因此，须引入额外挂钩(Hook)以实现所需的故障覆盖率，某些情况下要通过软硬体的智慧组合来实现，从而使晶片系统满足ASILB应用的需求，而不影响RISC平台上9.2K DMIPS的计算能力。

为保证ECU以及S32V234系列产品上运行软体的安全性，ECU采用一款经过现场验证的安全模组，以确保运行软体的可靠性并保护软体IP。加密服务引擎(CSE)安全模组符合HIS SHEAPI规格的要求。

S32V234系列产品的技术细节充分验证，要实现此类精密且功能强大的ADAS，须事前做很多工作。为更加高效利用平台系统，飞思卡尔的合作夥伴--Greenhills，提供一款经过安全认证的INTEGRITY即时操作系统(RTOS)，以满足平台需求。在应用方面，飞思卡尔的另一合作夥伴东软集团，已开始将其经过现场验证的演算法移植到平台系统，一旦就绪，这个平台系统即可快速上市。

东软研发基于视觉的ADAS演算法。目前，已有超过七十位软体工程师致力于ADAS的开发，为复杂交通环境中视觉目标检测和环境感知提供高精度、稳定可靠的软体解决方案。全套软体演算法将支援所有视觉ADAS功能，如行人检测、车道偏离报警(LDW)、交通标志识别(TSR)、运动目标检测(MOD)和盲点检测(BSD)。在亚洲，LDW、TSR和MOD已被OEM和一级市场广泛采纳和应用。
加强视觉/提高灵活度　ADAS更趋完善
软体发展面临的三大挑战：可靠性、灵活性和可行性。ADAS功能设计日趋安全，如今，功能和连接的安全需求已众所周知，而满足这些需要则是必备条件。功能性软体不仅要提供稳健、精确的目标和环境识别能力(在各种不同交通环境和灯光条件下)，同时必须满足即时性需求。

软体设计人员经常会面临两难境地，一方面必须采用更加先进的分类方法(如机器学习、神经网路等)，以实现不同的识别方式，最终提升应用的效能；另一方面，这样却不可避免地会给即时实作带来额外负担。因此，设计人员必须综合考虑各方面因素，巧妙地设计出最佳的软体解决方案。

开发或提供ADAS的所有OEM和一级市场均采用类似的名称来命名相同的功能(表1)。然而，没有任何两个解决方案是完全相同的，每个客户都会根据自身的特定需求提出不同的规格要求；此外，也没有完全相同的专案环境，其应用必须考虑不同的硬体环境和安装位置。


软体设计必须具有足够的灵活性，以支援不同类型和解析度的镜头设备，并能够识别多类型目标。软体解决方案必须易于配置，且能够执行功能定制、当地语系化和自订服务，同时不会降低软体品质。

最后，ADAS软体还必须满足可行性要求。软体采用的演算法必须易于实作且稳定执行，至少可保证几百小时连续工作。同时，设计人员还必须考虑低功耗、异常情况容忍度和错误检测等功能特性，因此，ADAS功能的开发成为了一项高度复杂、富有挑战性的任务。

应对ADAS开发挑战的关键因素，不仅在于采用尖端的硬体设备和使用先进的电脑视觉演算法，二者的完美结合才是最佳的解决方案。在S32V产品设计的早期阶段，飞思卡尔和东软曾密切进行技术交流。

为提供最佳的硬体设备支援以加速ADAS演算法的潜在并行性，两家公司研究了ADAS演算法的不同类型(任务并行、资料并行、管道并行)和并行等级(任务级并行、回圈级并行、指令级并行)。

最终总结出超过十种重要的计算模式，其中六种最为耗时。基于上述的研究成果，S32V产品最终提供并整合了不同种类的计算单元。ADAS软体解决方案的总体轮廓架构已经形成：多层软体管道、适用于低阶影像处理的ISP、适用于中级特征提取的APEX2，以及用于进阶协调和资讯融合的CPU。

随着飞思卡尔在2013年推出FPGA模拟技术，各种重要演算法，包括积分影像计算、目标特征提取和分类，均得到优化。预期至S32V产品上市，关键演算法的速度将是目前的20倍。

在ADAS软体研究和开发过程中，选用资深开发团队，以及高品质开发流程至为重要。演算法必须明确地声明其所需的资源、验证条件，以及异常和故障行为。自研究阶段初始，演算法就要确保基本软体模组的自完整性、独立性和灵活性。 完整的软体架构包括了硬体隐藏层、感知层、决策层和HMI层。感知层是其中的关键部分。

基于ISP或APEX2的关键优化演算法有序寄存于感知层。以上所有因素均为ADAS解决方案的最终成型奠定了坚实基础，使该解决方案能够满足汽车级高可靠性标准，如ISO26262。

东软的目标是与合作夥伴紧密合作，最终提供具有ADAS功能的开放式解决方案。OEM和一级市场能够选择不同类型和数量的镜头感测器，并选择不同的ADAS功能特性组合。