或将取代光学防抖，一种新型视觉传感器引入手机，高通相中的这项技术是什么来头？

来源:电子发烧友网发布时间:2022-12-07990浏览

电子发烧友网报道（文/黄晶晶）在前不久举办的高通骁龙8 Gen2新品发布会上高通介绍了一款基于事件的视觉传感器。这款传感器是由神经视觉技术公司普诺飞思Prophesee研发的全球首个基于事件的视觉传感器，能够实现亚毫秒级别时标时间，相当于每秒能捕获10000fps的数据，并且比标准方式少处理10至1000倍数据。同时，在这个事件驱动传感器的加持下，Spectra ISP能够在被极端光线隐藏的情境下实现大于120dB的宽动态范围，而能效水平可以小于10mW。Prophesee正是一家研发基于事件的视觉传感器的科技公司，电子发烧友网在近期的一次展会上采访了Prophesee副总裁兼大中华区总经理杨雪飞，了解这项技术和应用的最新进展。

已有多家手机厂商关切基于事件的视觉传感器

“传统上由于曝光时间的存在手机拍摄运动物体会有模糊的现象。基于事件的视觉传感器，由于数据量小、数据传输速度快，在曝光的时间过程中运动物体的轮廓信息始终会是清晰的。”杨雪飞谈到基于事件的视觉传感器的好处。

为了使拍摄画面更清晰，一些手机厂商创新地使用了光学防抖、微云台等技术。但也存在搭载这类技术的成本高，以及精密机械装置掉落易损坏等问题。杨雪飞表示，如果能用普通RGB摄像头加上基于事件的视觉传感器，再搭配软件算法的方式进行去模糊处理将是很大的技术进步。并可望替代光学防抖，显著降低零组件成本。

据了解，目前已经有几家手机厂商在开发基于事件的视觉传感器的方案。

杨雪飞分析，一般来说图像采集后通过ISP解析，例如与某手机厂商合作时后端接高通的芯片组，通过ISP芯片进行图像处理，用软件算法调整画质。未来后端也可以直接接AI芯片，通过神经网络的系统做算法抽取，能够更快的识别物体。

类似的方案不仅可用于智能手机，还可以结合基于AI、机器学习的各类应用场景，例如XR\VR应用做眼球追踪，可实时追踪眼球的运动方向，在测试当中测试人员可远距离操控电脑的音量大小等。

基于事件的视觉传感器是怎样的

基于事件的视觉传感器同样是采用CMOS工艺，但又与现有CMOS图像传感器所不同。

杨雪飞解析，我们核心的模拟电路和数字电路的设计方案和现有CMOS图像传感器的方案不同。我们可以实现全异步的输出，而现有的图像传感器都是以帧为单位的同步输出。异步输出是我们最核心的一个不同点。

虽然都是通过像素技术来传递影像，但我们的方案可以让每一个像素独立工作，不需要和周围的像素相关联。独立工作的优点是可以随时输出信号，并且数据量大幅度减少。它可以屏蔽掉静态的场景信息，只输出动态场景。而动态的信息才是机器最关心的。因为电脑要判断的是快速变化对它可能产生的影响，或者需要抓取的这些动态变化的场景。

未来在解析度上，一个方向是技术升级走向越高清晰度，从HD、720P到full HD，1080P。另一方面正如前述的眼球追踪等技术，它可以不需要太高的解析度，但需要更低功耗和更小尺寸。在高端和低成本低功耗两大路线上Prophesee都将推进发展。

仿生学技术逐渐商用化

基于事件的视觉传感器技术来自于仿生源。Prophesee这家法国公司在成立最初也是为了推动欧盟的帮忙盲人复明的项目。

杨雪飞分析，在人眼的视网膜上面有两种感光的细胞，一种叫视锥细胞，一种叫视杆细胞。我们看色彩用的是视锥细胞，在视网膜上面大概只有几百万个。而在我们视网膜上有上亿个视杆细胞，视杆细胞才使得我们大脑皮层真正形成图像。因为视锥细胞给大脑皮层一个静态图像，但是我们之所以能够看到很迅速的变化，比如有一个东西经过，通过眼角的余光能感觉到。这个眼角的余光其实更多用的是视杆细胞，它告诉大脑亮度、运动变化，大脑就会形成一个影像。

欧盟的一个项目希望通过仿生学的技术帮助一些因视杆细胞问题而失明的人。而这一技术也逐渐拓展到工业应用，Prophesee的前几代视觉传感器产品已在欧洲、日本等地有多个落地项目。

在现场展示的一个应用于港口吊运货物的项目中，Prophesee基于事件视觉传感器的方案能够建立三维建模的场景，传统上这种三维建模需要拍大量的图像和大量的数据进行分析，而Prophesee的方案搭配6个不同闪烁频率的LED灯，相机通过精确地捕捉LED灯的闪烁频率区别每个灯来进行建模，从而获取货物运动的状态画面。

图源：电子发烧友网拍摄

Prophesee从2015年量产第一代传感器开始，基本保持两年一代的迭代速度，已陆续发布四代传感器，2023年将发布第五代传感器，会在消费类、工业类等领域推出满足不同需求的解决方案。

Prophesee作为一家神经拟态视觉传感器初创企业也得到了行业的关注和投资。索尼不仅投资了Prophesee，成为其股东，也与其进行合作开发。例如Prophesee第四代传感器就是和索尼合作开发，还有索尼已经有两个传感器型号用到Prophesee的技术，是将索尼的CMOS图像传感器技术与Prophesee独特的基于事件的 Metavision视觉传感器技术相结合而实现的。

2021年国内投资机构韦豪创芯（依托于韦尔股份投资和支持）也投资了Prophesee。不难看出，CMOS图像传感器厂商都对Prophesee给予了密切的关注和认可。在最新与高通进行联合开发之后，这一基于事件的视觉传感器又将给智能手机市场的创新带来浓墨重彩的风景。