Ambarella为自动驾驶汽车赋予立体视觉

自动驾驶产业不乏想要超越Mobileye计算机视觉SoC的视觉芯片供应商，安霸（Ambarella）就是其中之一。该公司正致力于缩短与Mobileye的距离，特别是因为Mobileye不仅是业界先驱且仍持续主导基于视觉的先进驾驶辅助（ADAS）和高度自动驾驶汽车市场。

Ambarella日前推出了一款名为CV2的新型相机SoC，专用于提供深度神经网络（DNN）和立体视觉处理，瞄准ADAS和自动驾驶汽车市场。Ambarella宣称拥有两项与竞争对手不同的优势，其一是VisLab开发的新型计算机视觉架构——Ambarella于2015年收购了这家欧洲计算机视觉与智能汽车控制系统开发商。另一项则是Ambarella自家设计且经现场验证的低功耗、高解析（HD）与超高解析（Ultra HD）视觉处理芯片，可用于IP监控、运动、无人机与后装行车记录仪等应用。

CV2架构图

结合VisLab的经验和技术，Ambarella开发出符合车规级的CV2，在一个芯片中整合了先进的计算机视觉、图像处理、4Kp60视频编码与立体视觉技术。CV2延续上一代的CV1，据称可提供较CV1更高20倍的深度神经网络性能。

CV1和CV2都可在同一芯片上提供单眼和立体视觉处理。VisLab创办人Alberto Broggi解释：“单眼视觉可在远处检测并分类物件——最远达180公尺——而立体视觉相机能够捕捉3D物体的形状，而且无需训练即可检测到一般障碍物。”

Broggi说，Ambarella的视觉SoC“专为在城市驾驶而设计，能执行所有的感知处理”。而像路径规划以及转向和停车等其他操控任务，目前仍留给车载电脑。然而，Broggi补充说，他的团队计划将融合和决策层移植到CV芯片上。

从义大利帕尔马大学（University of Parma）独立出来后，由Broggi教授带领的计算机视觉团队成为Ambarella高度自动化汽车的自动驾驶软件骨干。

针对Ambarella的视觉解决方案，IHS Markit资讯娱乐和ADAS研究总监Egil Juliussen说：“Ambarella的新产品看起来很不错，可望用于ADAS、L4和L5级自动驾驶。我认为，正是由于他们的技术涵盖从算法、专利到SoC，而使其自动驾驶平台与众不同。”

Juliussen说：“他们还取得了加州的AV路测执照——只不过是第52家获得执照的公司。”他强调Ambarella已能“提供开发工具和API，可让1级（Tier-1）供应商和汽车OEM连接ADAS和L3到L5系统。”Ambarella计划在第二季出样CV2。

不过，Ambarella为什么推出两款视觉SoC？Broggi表示，去年5月发表CV1后，“我们又花了6个月的时间开发CV1的软件和工具，并确保芯片能在安装于车辆时正常运作。”由于基础工作已经完成，而CV2的软件相容于CV1的软件，“客户很轻松就可以将两者互换使用，”Broggi补充说，特别是CV2符合汽车要求，但CV1则否。

单眼视觉 vs.立体视觉

开发ADAS和全自动驾驶车究竟要用单眼视觉还是立体视觉？这是长久以来争辩的焦点。英特尔（Intel）旗下子公司Mobileye认为，单眼相机用于识别车道、行人以及交通标志和路上的其他车辆时已经够好了。

但是，立体视觉的支持者则认为，以3D视角计算来自单个相机传感器接收的平面2D架构时，单眼视觉系统经常不够稳定和可靠。

Ambarella在其芯片中融合了单眼和立体视觉处理。例如，其嵌入式车辆驾驶（EVA）平台提供基于4K CV1的立体视觉相机，用于立体障碍物检测的感知范围超过150公尺。据该公司称，它还支持超过180公尺的物件单眼视觉分类功能。

Broggi认为，立体视觉是一项重要的功能升级。“许多信息都包含在物件的3D形状中。即使相机看到一个未知形状的物体——系统以前从未见过的东西，而且未经识别训练——立体视觉也能进行处理”。

拥有单眼和立体视觉功能也会导入重要的冗余。立体视觉能够发现单眼相机看不见或无法识别的物件。

针对这两类型产品的比较，Juliussen说：“Mobileye是采取“单眼相机”策略的主要公司；当摄影机价格昂贵时，这种途径效果不错。但立体相机的价格正持续降低。我认为兼单眼和立体视觉更好，能为Ambarella带来更大的市场和应用领域。”

高动态范围至关重要

Broggi说，“VisLab和Ambarella联手可说是绝佳组合，”因为两家公司的团队之间工作并未重叠；更重要的是，CV1和CV2均采用Ambarella的图像信号管路实现高动态范围（HDR）成像、ultra HD处理以及在立体相机实现自动校准。

除了卷积神经网络（CNN）和DNN的所有功能之外，由ADAS和AV部署的视觉传感器还可以从视觉SoC提供的HD图像和高性能图像预处理功能中受益。

由于立体相机需要非常高的稳定度，Broggi说：“立体相机的校准可能会是一项挑战，尤其是在汽车应用中，”因为汽车持续振动且经常在宽温度范围内运行。通过Ambarella的CV1和CV2芯片，“我们可以在芯片上即时自动校准。”

同样地，当机器面对LED头灯和交通标志时，ADAS和AV可能会发生混淆。当LED闪烁时——它可能会被开启和关闭——其闪烁的假影可能引发机器视觉故障。Broggi解释说，这种情况经常发生在LED灯和相机的频率不同步时。Ambarella的CV1和CV2可以通过平均讯框数来减轻这种假影。他说：“我们可以在图像管线的早期阶段使用预处理来清理它。”

对于最近Uber酿祸撞死一名在夜间穿越街道的妇女，Broggi并未发表任何评论，但他说，Ambarella提供支持HDR功能的芯片“能够在极低光照条件下处理图像。”

EVA架构

对于道路试驾，Ambarella开发了EVA自动驾驶平台。EVA的传感套件目前已导入Lincoln MKZ车系，主要采用视觉传感器，无需激光雷达（LiDAR）即可实现自动驾驶。然而，基于EVA的AV还包含Bosch制造的前保险杠式雷达，以获得更好的正面视野。

图2：EVA平台架构（来源：Ambarella）

Broggi坚信，视觉是使自动驾驶汽车“充满信心”的唯一传感器。Broggi表示，相较于每秒产生200万个3D点的激光雷达，远距离的立体相机每秒可获取8~9亿个3D点。

车辆通常配备两组不同的立体相机。一套是远距离感知，另一套是短距离感知。远距离相机使用两个4K图像传感器（8百万像素），基线长30公分，水平视角75度。短距离相机系统使用4个支持200万像素的立体相机，以及10cm基线和鱼眼镜头。

Ambarella解释，每个远距离相机都包含2个CV1 SoC。在短距离系统中，所有的相机都连接至一个中央模组，透过2个CV1 SoC处理4个相机。

CV2的设计用于在芯片中支持4个立体相机和4个单眼相机。而CV1采用14nm CMOS工艺制造，但Ambarella的CV2将由三星（Samsung）以10nm工艺制造。尽管CV2的复杂度增加了，但Broggi说：“我们能够保持相同的低功率——4至5瓦。”

根据Juliussen的观察，开发汽车用的计算机视觉产品是Ambarella的一项重大目标，该公司去年为此分配了超过50%的研发预算。Juliussen说：“如今看来他们取得了不错的进展。目前的产品已被中国OEM应用于ADAS市场。”

他补充说：“他们目前的产品还被用于相机售后市场，如储存行车资料的行车记录器（EDR）。EDR将成为L4和L5自动车的标准配备。”这就是为什么CV2支持4Kp60 AVC和HEVC视频编码。该芯片可以将视频记录到汽车ADAS和自动驾驶系统。