AR眼镜的发展方向是传感器接头计算任务?

早在2020年，Meta就提出了AR/VR半导体面临的多重挑战，如能耗比达到今天的100倍靠近皮肤的散热问题，无线传输的带宽问题，以及如何实现高计算能力和低延迟。

一般来说，如果低功耗物联网设备涉及复杂操作，需要将传感器数据上传到云处理，所以主要芯片为通信和控制芯片；至于边缘处理需求小的物联网设备，MCU性能不太高，足以完成普通传感器数据计算。此外，传感器和计算单元之间的数据移动进一步增加了能耗和延迟。

随着工艺对能耗比的提高逐渐有限，处理器能提供的帮助越来越小。然而，随着人工智能的兴起，一些公司开始关注AOZ1022DI传感器，思考如何在其中做文章。因为明眼人都能看出，在电子设备小型化的过程中，我们遇到了瓶颈。许多产品形式由于计算而束手束脚。就连苹果自己也开始堆积芯片面积来提高计算能力，更不用说可穿戴设备了，尤其是AR/VR产品了。

AR/VR设备的传感器内计算系统

以之前被炒过一段时间的智能/AR眼镜为例，这款产品给了消费者很多遐想，但大部分体验都以失望告终。以Meta不久前与雷鹏合作的智能眼镜为例。这款产品根本不智能，充其量只是社交分享的硬件，没有计算能力。这是因为这种智能眼镜的计算单元可以少一些，但是传感器是必不可少的。摄像头、麦克风和扬声器都是硬件的重要组成部分。然而，没有CPU、GPU和人工智能加速器，智能/AR眼镜只会被视为名不副实。

在坚定AR/VR道路的Meta看来，半导体仍然面临着巨大的挑战。早在2020年，Meta就提出了AR/VR半导体面临的多重挑战，如能耗比达到今天的100倍靠近皮肤的散热问题，无线传输的带宽问题，以及如何实现高计算能力和低延迟。

解决方案分为三个维度，如先进包装，需要使用定制接口、异构集成和3D包装，内存需要尝试STTRAM、PCM和RRAM等新内存，CMOS技术将逐渐从FinFET演变为5nm和GAA。然而，这些解决方案中的一些已经被证实是可行的，而且一些仍处于测试阶段。

图：分布式的传感器内计算系统 /Meta。

Meta现实实验室的研究科学家Jorgegomez提出了一个新的想法，即在传感器中建立一个计算系统。首先需要的是一个分布式计算系统，集成了传感器内处理器的智能图像传感器来预处理数据，然后通过MIPI接口传输到聚合器。这不仅降低了功耗和延迟，而且大大提高了隐私安全性。

图：智能图像传感器 / Meta。

该智能图像传感器采用CIS、ADC、AI三层结构，通过μTSV或混合键合等3DIC技术集成。至于人工智能层的存储，选择低漏电、高密度的MRAM来进一步降低功耗。

图：与传统中心化传感器计算系统的对比 / Meta。

从模拟结果图中可以看出，在应用处理器和传感器内处理器采用7nm工艺的情况下，分布式计算系统的功耗比传统的集中式计算系统低24%。即使后者改为16nm工艺，功耗仍然降低。从这个模拟结果来看，这个想法是完全可行的。但是，如果你想达到100倍的功耗比，这样的改进还远远不够，更不用说传感器在这个系统中仍然是大部分功耗了。

节省冗余的数据移动

对于近传感器计算和传感器内部计算，节省冗余的数据移动可以说是功耗和延迟最关键的一步。如果模拟传感器可以直接处理模拟信号，ADC和计算单元的负担要小得多，AIStorm的MantisAI传感器SoC就是一个很好的例子。

当CMOS/CCD记录信息时，每个像素产生的电荷是接收到的光子数，即明暗信息。作为成像芯片，Mantis可以直接以原始电荷的形式接收像素数据，并根据图像唤醒人体、面部或物体。据AIStorm介绍，Mantis可以实现最高1000TOPS/W的计算能力，5000FPS的成像帧率可以实现5uA以下的功耗，这几乎被忽略了。

然而，从Mantis的人体识别演示视频来看，这类芯片还存在一些不成熟的地方，比如无法替代其他常见的图像传感器，只能用于基于事件的智能唤醒，比如人们走过镜头；而且，在成像的过程中，单靠模拟数据是无法分类识别的。例如，同一个人再次通过仍然是一个新的对象。此外，像TOPS/W这样的单位在这种模拟计算芯片方面有着天然的优势。就像存储计算等类似的模拟计算一样，它们的计算精度往往不高，但低位数和高位数的乘积累计计算无法比拟，因此根据计算次数来衡量性能并不是一种准确的比较方法。

尽管如此，这种传感器集成模拟人工智能解决方案仍然有其定位，如语音唤醒、图像唤醒等应用程序，它们在功耗和成本方面具有很大的优势，这种唤醒解决方案可以显著降低人工智能硬件的整体功耗，因此仍不可低估。