基于事件的视觉传感器，究竟能用在哪些地方？

这两年，基于事件（event-based）的视觉传感技术研究算是相当火热的。今年CVPR2021上能见到基于事件的视觉研究paper数量相当多。从ImageSensorsWorld这些年的报道来看，参与这个市场的企业也逐渐变得活跃。这些都表明基于事件的视觉传感技术正日趋成熟。

前几个月，我们采访在这一领域颇具代表性的法国企业Prophesee的时候，Prophesee（普诺飞思）联合创始人兼CEOLucaVerre给我们列了挺多相关神经形态技术的paper。因为我们当时对于这类传感器最佳匹配的后端神经形态计算平台也很感兴趣，所以Luca很热心地作了一些技术研究推荐，虽然我们还没来得及去仔细研究——将来我们会着力在这方面做更多的科普和报道。

Prophesee的核心产品就是基于事件的Metavision原视觉传感器及配套的软件和算法。基于事件，或者说神经形态视觉技术（Neuralmorphic Vision Technology），我们在此前的文章中已经花了比较多的篇幅做介绍。简单来说，基于事件的视觉传感器，和我们所熟悉的传统基于帧的图像/视觉传感器，在工作方式上存在较大差异。Prophesee在宣传上倾向于把基于事件的视觉传感器，与人眼类比：眼睛里的感光细胞仅在检测到视觉场景中某些特性（如对比度、亮度）的变化时才反馈给大脑。

而基于事件的视觉传感器也只在感知到场景变化时，才记录信息，场景中的静态部分不会被捕捉；这不同于传统图像传感器以固定的时序源（帧时钟）记录图像信息，所以叫“基于事件”。传感器上的每个像素是异步、独立的，图像信息也不是逐帧发送的，而是通过连续的信息流捕获时间信息，帧与帧之间没有任何重要信息遗漏——Prophesee在宣传中提到其视觉传感器记录信息等效的帧率为10000fps，这在传统基于帧的图像传感器上是不可想象的。

所以基于事件的视觉感知技术有三个优势：产生数据量更少；反应速度更快；以及实现更高的动态范围（120dB）。这三项属性，尤其是减少数据量和高动态范围属性，在当代机器视觉应用都具备了相当高的价值。对于这类技术本文就不再多做赘述了，在此再次建议对此感兴趣的读者去阅读我们此前撰写的文章——这篇文章对于基于事件的视觉传感器工作方式、传感器、后端计算平台适配都有相对抽象的解读。

本文重点聊一聊基于事件的视觉传感器的应用——有助于建立起对我们对于这类技术更深刻的认识。

Prophesee获得C轮融资，深入中国市场

这项技术的火热，也体现在对投资方的吸引上。前几天Prophesee召开发布会，宣布Prophesee获得C轮融资，“由创新工场领投、小米及上海韦豪创芯跟投，数家老股东加码”。Prophesee在这轮融资之前，已经获得过获英特尔资本、雷诺集团、博世创投、欧洲投资银行等北美、欧洲和日本的知名投资人的支持（当前Prophesee已获得的融资总额为6800万美元）。这次融资吸引的则主要是中国的投资人。

值得一提的是，这轮融资领投的创新工厂创始人是李开复。他在这次活动中，也以视频的方式提到了对于基于事件的视觉技术潜力的认可。而韦豪创芯则是由韦尔股份作为发起人参与投资的。关注成像行业的应该知道韦尔旗下的Omniverse在CIS领域是颇具话语权的，这其实也能很大程度表明视觉/图像传感器领域的主流市场参与者正在关注基于事件的视觉感知技术。而小米在消费电子市场下游的市场角色自不必多说。

Prophesee在发布的新闻稿中提到：“在新一轮投资人的支持下，普诺飞思将进一步扩大在中国市场的影响力。”LucaVerre表示：“我们将扩大在全球尤其是中国市场的客户规模，并推广普诺飞思革命性的基于事件的视觉传感方案。”

采访环节，Luca提到：“对普诺飞思而言，中国市场具有最广大的商业机会。当我们在谈机器视觉、人工智能时，中国市场都是最大的。中国也是最大的手机、无人机、机器人市场。机器视觉市场本身在不断扩大，尤其智能驾驶领域生态在扩大，研发、投资AI方面的力度都很大。中国对我们来说是非常具有吸引力的市场，它充满商业机遇。”

创新工场投资总监王震翔在活动上说：“从普诺飞思的赛道去看，团队所作的‘神经拟态传感器’技术在中国范围内还没有竞争对手，在全球范围内也是跑得最快的，已经跟全球许多顶尖的科技巨头在推进合作。”......“普诺飞思在加速落地中国市场，已经把中国总部设在了上海，我们创新工厂，以及小米、豪威等机构的投资，也是为了加速普诺飞思技术的迭代，针对广大的中国下游客户市场，让这项黑科技快速大规模商业化落地。”

Luca还说，Prophesee当前的重点是扩大中国公司的规模、扩充团队，对中国市场进行大规模投入。“我们最终的目标是将普诺飞思打造成一家全球化的公司。要实现这一目标，就需要在全球最大的市场，也就是中国取得成功。”

基于事件视觉传感器的应用方向

2014年Prophesee这家公司在巴黎创办。从2015年初代QVGA分辨率的传感器产品问世，到今年第四代产品上市——这代产品的知名度在业内比较高：不仅是HD分辨率提升，而且用索尼的3D堆叠BSI背照式结构技术，将单像素尺寸做小到了4.86μm，此前EE Times美国对此也有专门的报道——Luca说这款传感器很快就会大规模量产。如此前Luca接受我们采访时提到的，每代产品其实都有对应的应用。

李开复则在活动上评价说：“普诺飞思的神经拟态机器眼技术在多个领域具备巨大潜力，包括计算摄影、自动驾驶、工业自动化、物联网、医疗保健、AR和VR等...”

这次媒体活动上，Luca提到了这种基于事件的视觉传感器的更多应用。这对我们深入理解基于事件的视觉传感器技术也相当有价值，以此可窥见在Prophesee眼中，这项技术的未来是什么样的。

首先是与Xperi合作，推出的座舱监控技术，基于Prophesee的技术对驾驶员的眼睛、表情、眨眼频率、目光注视方向做监测。普诺飞思大中华区商务发展主管JohneyLu补充说，这个应用是基于Prophesee视觉传感器的几个特点，其一是速度快，对眼球、注释方向就能高速追踪；而且对眨眼频率的监控也能辅助检测疲劳驾驶。其二是高动态范围，应对实际开车过程中的高光比场景，依然能够清楚地感知面部、眼睛数据。

其中有个比较有趣的特性是，Metavision传感器“透过太阳眼镜也能看到眼睛”，Johney说：“太阳眼镜的反光不对我们造成影响。”这一点大概的确是检测可见光的传统CIS的弱项。基于事件的图像传感器如何做到这一点，值得我们后续做进一步探讨。

第二个例子同样是ADAS应用，是TerranetAB和梅赛德斯奔驰共同开发的VoxelFlow传感器技术，其中就应用了Prophesee的传感器。这项技术的本质是做3DPointCloud扫描。PointCloud是3D扫描后产生的所谓“点云”，这些点云构成3D模型。点云也就是一组数据点，每个点都有对应的x,y,z坐标。

用点激光做扫描，“经常会碰到一个问题，就是点不够多，而且循环比较慢。”Johney表示，“我们补足了激光的短板。这套方案利用激光在精度上的优势，以及我们在速度上的优势，可以直接造出非常精准高速的3DPointCloud。”

Luca则说，这套方案在车上安装了3个基于事件的传感器。在激光扫描的过程中，Prophesee的传感器会追踪激光，并对扫描到的内容进行3D建模，以互补的方式分析前方的路况。“快速的3DPointCloud很重要，因为快速就意味着可以更快地进行监测，从而实现更安全的驾驶。”

在医疗领域，Prophesee和CambridgeConsultants共同开发了“通过细胞实时无菌检测方式的下一代细胞疗法”。“用传统方法需要几天时间才能完成这样的生物学监测。基于我们技术的新设备，在几微秒的时间内就成完成检测、跟踪和分类污染物。”

此外还有此前我们就提到过的，为盲人部分恢复视力的应用。GenSightBiologics的GS030光遗传疗法试验中，用到的护目镜就采用了基于事件的视觉传感器，配合植入到视神经附近的无线视网膜植入物，Prophesee的视觉传感器会将从外界接收到的信号发往视网膜植入物——植入物则将信号转为电压信号刺激大脑引起视觉感知。Prophesee称其为“硅视网膜”，主要针对的是一些晚期的视网膜色素变性病例。

在消费电子产品上，Luca也谈到了这类传感器的应用。“在手机上，普诺飞思的基于事件的传感器，和传统的传感器结合起来，能够改善手机拍照的质量。”这一例主要是基于传统成像系统，受制于曝光时间，画面中高速运动的对象会出现运动模糊。而基于事件的视觉传感器的特性，决定了它能够捕捉动态信息——不考虑后端计算平台，则基于其等效10000fps的帧率，捕捉动态画面也没有压力。

所以理论上，传统基于帧的图像传感器和Prophesee的Metavision传感器相结合，就能实现运动伪像的消除。不过事实上，传统成像系统对运动伪像的消除，现阶段已经普遍开始应用机器学习算法——谷歌和华为在这方面都属于佼佼者，我们在此前也特别撰文分析过。不过我们认为，Prophesee基于事件的视觉传感器，更多的应用方向应该是机器视觉；在计算摄影领域，大概还需要观察此类方案的算法和“疗效”如何。

除此之外，Johney在答记者问阶段另外还提到了一些Metavision传感器的应用。“工业领域，我们的传感器可以感知震动频率、幅度，进行非接触性的震动检测。比如对大型器械震动做长期观察，当震动发生变化时就表明可能存在故障。有些物体本身就是不适合触碰的，比如高压、铁轨——传统接触式震动检测方案无法使用。”

“还有弧焊引导，因为我们的传感器动态范围大。弧焊在焊接的时候，看不到焊点——因为太亮了。基于事件的视觉传感器动态范围大，就能‘看’到焊点位置，引导焊头往哪里走。”

“再举个例子，液体喷射。半导体制造经常要控制液体喷射到表面。”Johney说，“Prophesee的传感器可以通过感知水珠数量，来检测到底喷了多少液体在表面，这对于质量检测很重要。以前要看运气，现在就可以做到精确感知。传统视觉方案是跟不上水珠速度的，无法计算水量。”

基于事件视觉传感器的潜力

听完这些应用案例介绍，感觉基于高宽容度、等效高帧率、数据量少、速度快这几个特点能组合的“玩法”还实在是不少。在传统的图像传感领域，我们常说全幅相机目前所用CIS的信噪比差不多要接近物理极限，全幅CIS在性能上更多的受制于自然界的散粒噪声（shotnoise）。当这些传统的方案应用到机器视觉领域，很多应用会显得相当无能为力。

基于事件的视觉传感器则提供了一种新的思路。这项技术的诞生其实早在30年前，只不过此前始终在迈向技术成熟和商用之路上。而且要知道，与其最匹配的后端计算平台是神经形态计算平台，比如IntelLoihi——这些技术也还在初生阶段。所以基于事件的传感器本身应当也还有相当大的发展后劲。

随现阶段Prophesee的Metavision传感器走向越来越多的应用，这类方案似乎比我们预想的发展速度还要快。