打造VR头盔逼真分身 Meta定制化芯片怎麽办到的？

Meta Reality Labs团队打造出一款专为AI处理设计的定制化加速芯片，可耗费较少电力，在独立VR头盔呈现逼真的Codec Avatars分身。

据Upload VR、Road to VR报导，Meta在2019年首度发表了Codec Avatars虚拟分身系统。这套系统结合了眼球追踪、嘴部追踪等终端装置传感器以及AI处理技术，目的在打造能实时呈现用户动作且逼真的虚拟分身。

然而要在移动设备上的不同零件间传送数据，需使用大量电力。过去Codec Avatars开发所使用的Nvidia Titan X GPU便十分耗电。

Meta在2022年IEEE定制化IC会议上，发表了一款神经网络加速器芯片原型，据说能大幅提升Codec Avatar模型运行眼球凝视撷取的能源效率。Meta将这款定制化芯片安装在眼球追踪镜头输入装置附近，负责将镜头输入数据转换成Codec Avatar分身。

除了省电的优点，研究团队指出，由于其他通用处理器无法取得原始镜头数据，因此采用这款定制化芯片在隐私与安全上也更有保障。

Meta的定制化芯片采7纳米制程，包含一个由1024累乘累加(MAC)阵列、2MB晶载SRAM与32位元RISC-V CPU组成的神经网络(NN)加速器。

另一方面，Meta也重新打造了部分Codec Avatars AI模型，以发挥定制化芯片最大优势。

这款定制化芯片目前仍是实验性质，只负责处理Codec Avatars一小部分的工作，其他任务仍交由Snapdragon XR2这类通用芯片组处理。这套系统近期内还不会引进到一般独立式头盔。

Meta这项开发成果，展现了如何成功利用定制化芯片解决虚拟分身问题，未来同样的概念也有机会运用在更多VR相关任务。

责任编辑：陈至娴