锐思智芯：ALPIX融合视觉传感器在AR/VR领域的应用

2015年以来，全球进入视觉AI时代，视觉数据采集由“给人看”向“给机器看”转变，传统图像传感器痛点频现，诸如动态模糊、冗余数据量大、功耗高、算力消耗大、高动态范围窄（过暗与过曝）等问题困扰着业界。

也推动了基于事件的视觉传感器（EVS）的兴起。EVS是模仿眼睛的感光机制而建立的传感器技术，就是以异步方式检测亮度变化，并结合坐标及时间信息，只输出有变化的像素数据，也就是以很高的时间分辨率，仅捕获运动物体的轨迹信息，从而实现高效率、高速低延迟数据输出的视觉传感器。

对于AI机器视觉来说，EVS显著优势是数据量较小、可以检测高速物体的动态并进行追踪，与机器学习的兼容性高。但是，其缺点也十分明显，即缺乏静态的图像信号。从去年开始，PICO4Pro、PSVR2、QuestPro等VR设备配备眼动追踪技术，预计在越来越多厂商的跟进下，眼动追踪技术将成为消费级VR设备的标配。

5月12日，第十三届“松山湖中国IC创新高峰论坛”在广东东莞松山湖凯酒店举行，本届论坛以“面向AR/VR/XR与元宇宙的创新IC新品推介”为主题，通过组织本土芯片设计企业和终端应用厂商开展深度的需求对接，打造国内具影响力的中国创新集成电路新品集中推广和发布平台，对提升国内集成电路设计水平、推动促进国内芯片-整机联动发展具有积极意义。

锐思智芯董事长，合伙人况山

在市场普及之前，技术的成熟是最为关键的。锐思智芯董事长，合伙人况山在会上介绍了公司最新ALPIX融合式超低功耗视觉传感器，旨在为AR/VR设备提供无与伦比的性能和功耗优势。

据介绍，该传感器基于HybridVision®融合视觉技术打造，结合了传统的帧驱动视觉系统和事件驱动视觉系统的优势，实现动静态信息捕捉融合。不仅具备图像数据和具有色彩信息的事件数据，而且可以单独使用，帧率可支持超过4000FPS，动态范围大于100db，冗余数据小于20%，像素尺寸仅有1.89μm，暗光表现也更好，功耗更是只有10mW左右。

“传统图像传感器在帧率、数据量和动态范围三个方面相互制约，加上事件数据就可以打破这样瓶颈和制约。”况山表示，基于融合视觉传感器可以实现快速眼动追踪，一种方式是基于融合视觉传感芯片进行被动地识别判断优势在低延时、低功耗、节省后端处理器的算力消耗。二是结合结构光技术，追踪精度达到0.3度，比现有行业当中的方案提升了一个量级。

2021年10月份，锐思智芯发布了首款基于HybridVision融合视觉技术的芯片，主要是用于验证融合方案的。随后在2022年7月，发布了首款高端融合视觉感算一体传感芯片ALPIX-Eiger，主要是适用于智能手机、运动相机等消费电子产品。

新产品推出的特别版本ALPIX-Titlis™即将小批量产，其以超低功耗，适应多种VIoT场景的特性，保持对场景连续感知的同时，降低系统功耗。像素端过滤80%冗余信息，节省系统成本，增加事件流数据，提高算法精度与效率，适配现有图像系统。

“我们的目标是使每一个AR/VR设备都能拥有最佳的视觉性能，同时尽可能降低功耗。”况山在发布会上表示，“我们的HybridVision技术使得SOC芯片能够同步输入两路数据，以捕捉静态和细节纹理信息，同时新型的视觉数据能捕捉变化信号，通过删除不变的信号，可以实现更低的延迟，更低的功耗和数据量。而且，通过叠加视线数据，我们能够补充图像数据的不足，打破帧率、数据量、动态范围三者的相互制约。”

据介绍，ALPIX在AR/VR领域的应用主要集中在快速眼动追踪、人机交互-跟踪与识别和SLAM等方面。ALPIX的低延迟、低功耗特性使其在这些领域具有显著的优势。

此外，ALPIX还有助于实现低成本、高还原度的相机功能，以及改进高动态范围成像，这对于在室外工作的AR设备、汽车以及室外安防设备等领域具有重要价值。

况山简介

况山，锐思智芯合伙人兼首席运营官，负责团队投融资及运营管理工作。况女士曾任舜宇光学投资副总裁，主导投资多家光电领域传感器芯片、算法及机器人公司，包括虹软科技(ArcSoft)、LightCo.等知名公司。

况山女士拥有中国人民大学金融工程和数学学位，英国巴斯大学发展经济学硕士学位。

关于锐思智芯

锐思智芯®是全球新一代视觉传感器技术革命的引领者。公司创立于2019年，是国家高新技术企业，公司以深圳为运营总部，在北京、瑞士、南京设立了分公司和研发团队。基于独创的HybridVision®融合视觉技术，锐思智芯®突破性地研发了ALPIX®系列融合式视觉传感芯片，为智能手机、消费电子、智能安防、智能汽车领域提供一体化智能视觉解决方案，持续赋能视觉AI生态。

锐思智芯®拥有芯片、算法、软件、硬件全栈式研发能力，核心技术专家全部来自全球顶尖机构。团队成员在高端视觉传感器领域拥有超过16年技术积累，在事件驱动传感器领域拥有超过8年研究经验。公司成立以来，已申请专利110余项，发表国内外文献超20篇。