目前手机是 ToF 在消费电子中的主要应用领域，随着市场对 3D 视觉与识别技术的兴趣日益浓厚，头部终端厂商推动 TOF 技术在 3D 感知和成像方向上不断拓展，我们看到 TOF 技术在智能手机端加速渗透，TOF 的使用进一步丰富着 3D sensing 的应用场景。伴随 AR/VR 的发展，ToF 有望成为智能手机摄像头的下一个风口。ToF 技术的应用亦是 AR、VR 时代的催化剂。考虑到 ToF 的两个独特的优点——作用距离长、刷新率高，存在远距离 3D 测距需求的 AR/VR 是最能体现 TOF 优势的功能之一。根据 Markets and Markets，2019 年全球 AR 市场规模达到 107 亿美元，预计到 2024 年将达到 727 亿美元。 一、dToF 开启深度信息的新未来 3D sensing 是智能手机创新的趋势之一，当前正加速向中低端手机渗透。目前实现 3D sensing 共有三种技术，分别为双目立体成像、结构光和 ToF，目前已经比较成熟的方案 是结构光和 ToF。其中结构光方案最为成熟，已经大规模应用于工业 3D 视觉，ToF 则凭 借自身优势成为在移动端较被看好的方案。 ToF 的多场景应用呈现出了比结构光更为广阔的发展前景。作用距离的劣势限制结构光 的应用，ToF 技术则弥补了距离上的缺陷，可以被应用于包含 3D 人脸识别、3D 建模以 及手势识别、体感游戏、AR/VR 在内的更多场景中，能够为智能手机带来更娱乐性和实 用性的体验。此外，相比结构光技术，ToF 的模组复杂度低，堆叠简单，可以做到非常 小巧且坚固耐用，在屏占比不断提高的外观趋势下，更得到手机厂商的青睐。 ToF(Time of Flight)，通过测量发射光与反射光的飞行时间计算出光源与物体之间的距 离，本质上是时间维度测量。根据测距的方式不同，目前存在两种 ToF 技术路线:iToF (间接飞行时间，indirect-ToF)和 dToF(直接飞行时间，direct-ToF)。dToF 直接测量飞 行时间，原理是通过直接向测量物体发射光脉冲，并测量反射光脉冲和发射光脉冲之间 的时间间隔，得到光的飞行时间，从而直接计算待测物体的深度。iToF 则是通过发射特 定频率的调制光，检测反射调制光和发射的调制光之间的相位差，测量飞行时间。 iToF 间接测量飞行时间，具备低成本、较高分辨率优势，适用于短距离测距。iToF 原理 为把发射的光调制成一定频率的周期型信号，测量该发射信号与到达被测量物反射回接 收端时的相位差，间接计算出飞行时间。由于 iToF sensor 的 pixel 相对较小，可实现相 对高图像分辨率。但 iToF 问题在于的测距精度的实现限制了最大测距距离，从原理上看， 调制频率越高则测距精度越好，高调制频率意味着对应的测距距离不能太大，并且环境 光会对电路产生干扰。因此目前 iToF 主要应用在手机面部识别、手势识别等测距距离较 短的场景中。 iToF 传感器电路相对简单，难点主要在深度算法，安卓阵营自 2018 年引入 iToF 并推 动其主流化。目前如三星、华为、OPPO、vivo 等品牌均有在中高端机型中配臵，除此之 外，iToF 在物体识别，3D 重建以及行为分析等应用场景中能够重现场景中更多的细节信 息，因此还被广泛应用于机器人、新零售等领域。 dToF 直接测量飞行时间，具备低功耗、抗干扰等优势，适用于对测距精度要求高的较 远距离测距场景。dToF 原理为向被测物体发射光脉冲，通过对反射和发射光脉冲时间间 隔的测量，直接计算待测物体的深度。测距原理使得 dTOF 测量精度不会因距离增大而 降低，功耗更低同时对环境光的抗干扰能力更强。 dToF 深度算法相对简单，难点在于用以实现较高精度的 SPAD。dToF 要检测光脉冲信 号(纳秒甚至皮秒级)，因而对光的敏感度要求会很高，因此接收端通常选择 SPAD(单 光子雪崩二极管)或者 APD(雪崩光电二极管)这类传感器来实现，集成度弱于普通的 CMOS 图像传感器，像素尺寸一般大于 10μm，从而分辨率通常较差，成本更高。SPAD 是 dTOF 技术的核心，技术难度大且制作工艺复杂，目前世界上极少厂家具备量产能力， 集成难度很高难以小型化应用在手机等小型消费电子上，因而除传统热门应用领域车载 LiDAR 之外，消费电子领域目前仅有苹果一家实现商用(iPad Pro 首次搭载)。 未来 TOF 会向更高集成度、更小的传感器尺寸、更高分辨率发展。 目前传统的 CIS 单像素尺寸最小可达到 0.7μm，而目前 0.6μm 也已经在研发中。但 ToF 传感器更要求单像素获取信号的能力，因而需要更大的单像素尺寸;dToF 传感器电路设 计比较复杂，需占据较大的片上尺寸;iTOF 像素尺寸则需暂时让步于更高的集光效率。种种原因使得 ToF 图像传感器的小型化存在一定困难。 半导体工艺改进将有望实现 TOF 传感器小型化。ToF 传感器厂商通过半导体工艺方案的 改进，如背照式(BSI)、堆栈式(Stacked)CMOS 等技术，将原本位于光电二极管上方 的布线层移至下方，以及将光电转换器、电子倍增器(electron multipier)这些部分垂 直堆叠，增大像素开口率，同时减小像素尺寸。目前根据松下最新的研究成果，dToF 传 感器也可以用 CMOS 工艺实现，集成度已经在数量级上逼近 iToF 方案。 目前 ToF 技术低分辨率的固有缺陷仍然存在，未来有望随技术更迭而实现突破。目前 ToF 测量精度量级仍然相较结构光方案落后，但近两年其传感器分辨率已经在提升。iToF 方面，英飞凌面向消费市场的一般 REAL3TM传感器(iToF)也达到了 3.8 万像素，2019 年推出的 IRS2771C 则达到 15 万像素;dToF 方面，例如 iPad Pro 2020 的 LiDAR 分辨率 达到了 3 万像素;另外 TDC 电路设计进步也逐步提升着 CMOS 电路中的 TDC 时间分辨 率精度，有望带来 dToF 的分辨率的提升。 二、ToF 未来最有潜力的应用在 AR 领域 目前手机是 ToF 在消费电子中的主要应用领域，随着市场对 3D 视觉与识别技术的兴趣 日益浓厚，头部终端厂商推动 TOF 技术在 3D 感知和成像方向上不断拓展，我们看到 TOF 技术在智能手机端加速渗透，TOF 的使用进一步丰富着 3D sensing 的应用场景。伴随 AR/VR 的发展，ToF 有望成为智能手机摄像头的下一个风口。 ToF 助力消费级 AR 普及。ToF 技术的应用亦是 AR、VR 时代的催化剂。考虑到 ToF 的两 个独特的优点——作用距离长、刷新率高，存在远距离 3D 测距需求的 AR/VR 是最能体 现 TOF 优势的功能之一。3D 摄像头技术提供的手势识别功能将成为未来 AR/VR 领域 的核心交互手段。目前各大厂商推出的 VR 设备大都需要控制器，游戏控制器的优势在 于控制反馈及时、组合状态多。 根据 Markets and Markets，2019 年全球 AR 市场规模达到 107 亿美元，预计到 2024 年 将达到 727 亿美元，复合增长率达 46.6%。过去几年中，以 Facebook、英特尔、高通 和三星为代表的公司在 AR 领域进行了大量投资，推动了全球 AR 市场的快速增长。中国 AR 市场规模预计在 2024 年将达到约 59 亿美元，从下游应用来看，工业应用占比最大， 约占 42%，其次是汽车(18%)，零售(15%)以及航空与国防(10%)等。 AR 室内设计。2020 款 iPad Pro 使用了 dToF LiDAR 技术，通过这一技术可以获得 3D 空 间的深度信息，建立详细的室内环境空间数据，模拟出摆放了新家具后的情况。宜家的 IKE A P lac e 应用，利用 AR 让家居产品的外观和在家中的摆放效果直接呈现在用户眼前。
医疗学习。Complete Anatomy 是一款教医学院学生通过虚拟技术了解心脏、实时肌肉 运动、神经系统等人体结构的软件，在 2020 款 iPad Pro 上可以使用这一软件，它将帮 助专业人士更准确的评估病人的身体运动情况，为未来医学发展带来更多可能性。 3D 摄像头技术提供的手势识别功能将成为未来 AR/VR 领域的核心交互手段。目前各 大厂商推出的 VR 设备大都需要控制器，游戏控制器的优势在于控制反馈及时、组合状 态多。以 HoloLens 为例，就拥有一组四个环境感知摄像头和一个深度摄像头，环境感 知 摄 像 头用于人脑追 踪，深度摄像头用于辅助手势识别并 进行环境的三维重构。 拍照虚化。ToF 具备更好的景深信息采集功能，加入智能手机后摄模组后，能够实现快 速、远距离获取更高精度的深度图(depth map)，从而完成较结构光范围更大的 3D 建 模，而且由于自带红外光源，其在暗光环境下获得的景深信息同样准确。因此，有 TOF 摄像头参与的成像在虚化效果上会更加真实，富有层次。华为 2019 年发布的旗舰机 P30 Pro 在后臵 3D 成像与感知模组中加入 ToF 镜头辅助，ToF 镜头获取的更多景深信息加强 背景虚化功能，相比双目视觉更加精准，使得得到的图像虚化边缘更加清晰、更具表现 力。 手势识别。目前不少手机具备的悬浮手势识别功能，不用直接接触手机屏幕，仅借由前 臵 ToF 的对手势的 3D 感知，通过如在手机前挥挥手这样简单的操作来实现翻页、滚屏 等普通操作。体感游戏相比前者更具交互性，通过 TOF 技术能够采集到被拍摄人的身体 深度信息，捕捉和采集身体的动作，进行手势判定，控制预制的 3D 建模人偶的形象和 动作，实现真人和 3D 虚拟形象跟随，用身体、动作和手势做游戏交互。 ToF 技术的应用是 AR、VR 时代的催化剂。考虑到 ToF 的两个独特的优点——作用距离 长、刷新率高，存在远距离 3D 测距需求的 AR/VR 是最能体现 TOF 优势的功能之一。3D 摄像头技术提供的手势识别功能将成为未来 AR/VR 领域的核心交互手段。 dTOF 技术的应用有望推动 AR 内容的完善，加速消费级 AR 普及。苹果 2017 年便针对 开发者们发布了用于 iOS 设备上 AR 应用开发的 ARKit 开发工具，2020 年发布的 iPad Pro 为消费电子设备首次搭载 dToF 模组，可视为苹果针对 5G 时代 AR 领域的进一步布局。
iPad Pro 搭载的 LiDAR(激光雷达扫描仪)，采用 Sony 3 万像素 10μm dTOF 图像传感 器，SPAD 阵列的探测器，并集成了 Lumentum 的 VCSEL 芯片和 TI 的 VCSEL 驱动芯片， 能达到 ps 级时间分辨率，可实现 5 米范围内的 3D 感知与成像，具备更快的 AR 建模速 度、更高的测量精度和更少的抖动、错位。 Sony 的 dTOF 方案首次采用 3D 堆叠工艺，像素内连接通过混合键合互连技术将探测器 晶圆和逻辑电路晶圆键合实现，同时，深沟槽隔离(Deep trench isolation)也被应用， 充满金属的沟槽完全隔离了像素。从而有效控制了 dTOF 传感器的尺寸，使其成功的应 用在 iPad 这类小型消费电子设备中。 目前 iPad Pro 的 LiDAR 共呈现出三种典型场景的应用。AR 测量、AR 游戏和 AR 装修设 计。 AR 测量:LiDAR 可以快速计算人的身高，并展现垂直和边缘引导线。通过开发者开发的 app 可实现对物体尺寸、建筑物更精细的测量。 AR 游戏:LiDAR 通过对周围真实环境的扫描和快速获得深度信息能力，为 AR 游戏开辟 了更广阔的设计空间。如官网展示的《炽热熔岩 (Hot Lava)》电子游戏，可以把客厅变 成一个虚拟的熔岩环境，游戏中的玩家可以跳到家具上以此来避开模拟中的地板熔岩。iPad Pro 上市后带动开发者不断丰富 iOS 平台上 AR 游戏内容，也使一些原有的 AR 游戏 因为玩法升级而更具有生命力。 AR 装修:iOS 上的 Shapr3D app，借助 LiDAR 对房间进行扫描创建 3D 模型，用户可以 对该模型展开编辑或添加新对象，使用 AR 可以查看实际房间在编辑后的虚拟效果，帮 助用户在装修动工前更真切体验设计效果。宜家 Place 应用同样可以通过扫描一个房间 获得与之匹配的家具推荐，然后使用 AR 查看家具摆放效果。 dTOF 在 iPad Pro 上的应用，可以视为苹果打通 AR 生态硬件基础的第一步。未来苹果 通过技术改进和突破，有望将 dTOF 引入手机端以及更多地 AR 设备，促进 AR 硬件设备 的发展同时，也激发设计师基于 dTOF 的特性开发如建筑、教育、医疗等更多场景的 AR 内容应用，推动 AR 应用生态持续完善。 华为河图(Cyberverse)定义地球级 XR 应用(包括 VR、AR、MR 等扩展现实技术)， 将 AR 应用拓展到更广阔的数字世界。华为河图(Cyberverse)被定义用来提供地球级 的虚拟现实融合服务的数字平台，华为 AR 地图是其推出的第一个商业产品，主要功能 包括 AR 实景导航、全息信息展示、虚实融合拍照及其他虚拟活动等。全场景空间计算 能力是河图的核心，这一能力所需的宏观地图可以使用卫星定位，而室内及一些微观场 所的建模定位则依赖智能手机的 3D Sensing 来完成。目前华为 P40 系列机型已经能够 支持华为 AR 地图。 下一波移动终端创新将围绕 AR 进行革命性创新。AR/VR 开发平台的搭建和完善，及增 强现实内容市场的蓬勃发展，必然会推动 TOF 产业的发展。TOF 有望接力结构光，从生 物感知到虚拟现实，从人脸识别到 3D 建模，带来产业端升级和用户体验优化，前臵人 脸识别+后臵虚拟现实功能可能成为手机的下一个形态。伴随 AR/VR 的发展，ToF 有望 成为 5G 时代智能手机摄像头的下一个风口。 三、下一波创新性革命，TOF 市场空间巨大
