【了不起的芯片】VR、AR、MR：你能够看到的未来，不止元宇宙

新思科技一直致力于打造“人人都能懂”的行业科普视频，传播更多芯片相关小知识，解答各类科技小问题。每周3分钟，多一些“芯”知识。

这一期，我们聊一聊VR、AR与MR的那些事儿。

VR、AR、MR，听起来是不是感觉都差不多？

你是不是想说：“就是虚拟眼镜那些东西呗。”

没错，你说对了…里面的一小部分。

近几年“元宇宙”概念火热，人类对虚拟世界的探索渐渐形成系统产业。甚至似乎无论什么行业什么公司，但凡和“虚拟”能沾上边都自称元宇宙公司。VR、AR、MR这几个词也随着元宇宙的热度，打着组合拳走进了我们的视野。

这三个也确实是虚拟现实产业的Key word。详聊一下这三个词，也能管中一窥目前增强与虚拟现实产业的情况。

VR（Virtual Reality），指虚拟现实。也就是创造一个完全虚拟的世界，用户可以在其中进行体验。通过设备模拟一个完全虚拟的数字世界，通过VR眼镜和手柄等外设进入虚拟空间，能为用户提供视觉、听觉、触觉等感官模拟体验。对使用者而言，这是一种完全的沉浸式体验。

AR（Augmented Reality），意为增强现实。也就是把虚拟的元素增加到现实世界的场景中，增加了用户的现实体验。通俗地说，AR=真实世界场景+虚拟物体信息。通过将计算机技术生成的虚拟文字、图像等信息融合并叠加到真实世界的场景中并实现交互。

MR（Mixed Reality），称为混合现实，是VR和AR的融合形态。能够将真实世界和虚拟世界进行融合，产生新的可视化环境，是通过真实世界+虚拟世界+数字化信息的高度融合方式形成的一个无缝衔接的虚实交互的世界。

总结下来，三者关系非常微妙，都含有虚拟的部分。VR是全虚拟的数字世界；AR是半真半假，只是将虚拟的投射到现实中；MR则是将数字虚拟的内容按照现实规律叠加在真实世界中，让你真假难辨。

这些体验是通过哪些技术得以实现的呢？

VR虚拟现实

VR的核心技术包括近眼显示、感知交互、渲染处理、内容制作。简单地说，就是如何让你沉浸在一个头戴式的眼镜里，眼镜里需要一个响应速度极快的显示器（及配套的驱动芯片）。它的刷新率需要足够高，避免使用者感到不适晕眩。

其中显示器部分，已从AMOLED发展到Fast LCD，而后又升级为带有Mini LED背光的Fast LCD。感知交互模块，需要配以惯性传感器、3D摄像头等其他感官探测硬件，来实现语言交互、眼球追踪、触觉反馈、表情识别、脑电交互等功能。

渲染技术，也就是图像处理，则需要GPU与算法配合来进行整个画面的优化处理。当然，图形接口、渲染专用硬加速芯片、云端渲染、光场渲染、视网膜渲染等关键技术也需要进一步研发加强，来实现高画质和低延时。

AR增强现实

AR最核心的技术则是VPS（Visual Positioning System），视觉定位技术。学术上称为“空间计算”，包括空间构建和定位服务。其中地图构建技术有SLAM（即时定位与地图构建）、SFM（三维重建）等，目前SFM更为主流。

从概念上讲，SFM是用多幅包含着视觉运动信息的二维图像序列去估算三维结构的技术。它属于计算机视觉及可视化的研究范围。

此外，AR眼镜中，显示技术是另一大核心，分为被动式微显示技术，主动式微显示技术以及扫描显示技术。其中，被动式微显示技术包括传统的LCD以及DLP、LCOS等，它们在工作时需要使用RGB LED或者RGB激光器作为光源。主动式微显示技术包括使用Micro OLED和Micro LED的显示技术。扫描显示技术（LBS）使用RGB激光器作为光源，搭配MEMS进行扫描成像。

MR混合现实

MR技术需要感知系统和显示设备，其中感知系统中也需要和AR一样的空间构建和定位。此外，MR不仅需要图像识别，还要将现实的东西虚拟化，即把二维图像通过计算机形成三维的虚拟图像，也就是3D建模。建模后才能把它们有机地融进真实世界的影像中。使用MR技术的显示设备可以非常简单，例如平板电脑和智能手机等。直接通过手机屏幕，就可以看到虚拟和现实的结合。当然了，底层的芯片技术不必多说，就是手机SoC芯片。

有点黑科技的意思了吧。这些技术如今发展得怎么样了呢，我们什么时候才能大规模用上呢？

从市场规模来看，IDC数据显示，2021年全球AR/VR市场总投资规模接近146.7亿美元，并有望在2026年增加到747.3亿美元，五年复合增长率将达38.5%。目前国内虚拟现实产业的投融资关注度较高，投资并购事件频发，国内的资本热度也将进一步推动国内VR市场规模提升。

从产业发展来看，未来AR/VR将在垂直行业中快速渗透。目前，VR应用场景以to-C（直接面对使用者）为主，聚焦于游戏、娱乐、治疗等领域，目的是创造一个完全虚拟的世界。例如在游戏领域，VR技术可以模拟游戏设计中的环境、感知和自然技能，并在此基础上形成立体的动态场景，让玩家通过交互界面和VR可穿戴设备直接与游戏中的环境和角色进行交流，强化游戏的真实感。

与此同时，在B端（商业模式）对于VR+营销、VR+文旅、VR+医疗培训、VR+工业制造等广泛实践也在陆续开展。从B端成效看，VR+营销已成为近年的热点，VR全景与房产家装的营销方式已经有了非常多的成熟案例，同时短视频、语音解说等功能也嵌入VR全景中。

AR目前则主要应用于B端，涵盖了工业、广告营销、制造业等诸多行业。以工业生产为例，AR的可视化能发挥重大作用，可极大提高生产效率。比如在操作繁杂的飞机制造领域，工作人员戴上AR眼镜后，整个流程会直接投射到眼前，工作人员可以一边对照着全息画面的流程一边工作，避免出错。在一些复杂的工业设计生产中，通过AR技术，工程师把生产流程在真实世界中精确地展示出来，更能实时查看设计效果。

由于各行业应用场景具有独特性和应用壁垒，相比于通用型、标准化产品，未来AR和VR仍会在垂直行业中快速渗透，以提供行业产品及行业解决方案。而MR技术由于其真实感强、互动性好等独特的优势，并且可以与现实世界进行交互且产生新的可视化环境，能够在多种不同的领域深入应用，可以说比AR和VR的发展前景更广阔。

随着5G的高速率、广连接和低时延直接提升了虚拟现实设备性能并改善了用户体验，客观上进一步助推AR/VR/MR的大规模应用。在云计算、大数据、物联网、人工智能以及移动互联网等技术的融合加持下，有望构建互联网下一站——空间互联网。在经历了PC互联网时代与移动互联网时代后，人类将进入空间互联网的时代。数字技术更不易察觉却又无处不在，随之而来的将是新的交互终端呈现方式。

空间计算将成为人类与周围环境的计算设备进行交互的崭新渠道，AR/VR/MR设备将取代电脑、手机成为空间互联网的交互入口。数据资产将不再仅仅处于计算机、手机等固定设备中，而是占据了我们周围的空间，交互无处不在。新思科技不单作为光学解决方案提供商，为AR/VR、移动设备、平板显示等领域提供一流的光学设计工程服务；更作为数智时代的“根技术”提供者，新思科技将通过芯片自动化设计工具EDA、IP和软件安全的整体解决方案，赋能所有的先进芯片，用领先科技助力未来空间互联网的到来。

空间互联网将会带来全新3D化、游戏化等的交互体验，甚至有机会重新奠定一个空间互联网内容生态的全新商业模式。

其实，在AR、VR和MR技术出现之前，我们早在电影层面有了艺术想象。《阿凡达》、《盗梦空间》、《头号玩家》这些电影都向我们描述了虚拟与现实交织的世界。

《黑客帝国》就里有一句经典发问“什么是真实？你又如何定义真实？”当底层技术不断发展，我们该如何拥抱未来，这是未来世界等待着我们用科技来作答的发问。