ToF未来最有潜力的应用在AR领域

ToF未来最有潜力的应用在AR领域

目前手机是ToF在消费电子中的主要应用领域，随着市场对3D视觉与识别技术的兴趣日益浓厚，头部终端厂商推动TOF技术在3D感知和成像方向上不断拓展，我们看到ToF技术在智能手机端加速渗透，ToF的使用进一步丰富着3D sensing的应用场景。伴随AR/VR的发展，ToF有望成为智能手机摄像头的下一个风口。

ToF助力消费级AR普及。ToF技术的应用亦是AR、VR时代的催化剂。考虑到ToF的两个独特的优点——作用距离长、刷新率高，存在远距离3D测距需求的AR/VR是最能体现ToF优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器，游戏控制器的优势在于控制反馈及时、组合状态多。

根据Markets and Markets，2019年全球AR市场规模达到107亿美元，预计到2024年将达到727亿美元，复合增长率达46.6%。过去几年中，以Facebook、英特尔、高通和三星为代表的公司在AR领域进行了大量投资，推动了全球AR市场的快速增长。中国AR市场规模预计在2024年将达到约59亿美元，从下游应用来看，工业应用占比最大，约占42%，其次是汽车（18%），零售（15%）以及航空与国防（10%）等。

AR室内设计。2020款iPad Pro使用了dToF LiDAR技术，通过这一技术可以获得3D空间的深度信息，建立详细的室内环境空间数据，模拟出摆放了新家具后的情况。宜家的IKEA Place应用，利用AR让家居产品的外观和在家中的摆放效果直接呈现在用户眼前。

医疗学习。Complete Anatomy是一款教医学院学生通过虚拟技术了解心脏、实时肌肉运动、神经系统等人体结构的软件，在2020款iPad Pro上可以使用这一软件，它将帮助专业人士更准确的评估病人的身体运动情况，为未来医学发展带来更多可能性。

3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器，游戏控制器的优势在于控制反馈及时、组合状态多。以HoloLens为例，就拥有一组四个环境感知摄像头和一个深度摄像头，环境感知摄像头用于人脑追踪，深度摄像头用于辅助手势识别并进行环境的三维重构。

拍照虚化。ToF具备更好的景深信息采集功能，加入智能手机后摄模组后，能够实现快速、远距离获取更高精度的深度图（depth map），从而完成较结构光范围更大的3D建模，而且由于自带红外光源，其在暗光环境下获得的景深信息同样准确。因此，有ToF摄像头参与的成像在虚化效果上会更加真实，富有层次。华为2019年发布的旗舰机P30Pro在后臵3D成像与感知模组中加入ToF镜头辅助，ToF镜头获取的更多景深信息加强背景虚化功能，相比双目视觉更加精准，使得得到的图像虚化边缘更加清晰、更具表现力。

手势识别。目前不少手机具备的悬浮手势识别功能，不用直接接触手机屏幕，仅借由前臵ToF的对手势的3D感知，通过如在手机前挥挥手这样简单的操作来实现翻页、滚屏等普通操作。体感游戏相比前者更具交互性，通过ToF技术能够采集到被拍摄人的身体深度信息，捕捉和采集身体的动作，进行手势判定，控制预制的3D建模人偶的形象和动作，实现真人和3D虚拟形象跟随，用身体、动作和手势做游戏交互。

ToF技术的应用是AR、VR时代的催化剂。考虑到ToF的两个独特的优点——作用距离长、刷新率高，存在远距离3D测距需求的AR/VR是最能体现 ToF优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。

dToF技术的应用有望推动AR内容的完善，加速消费级AR普及。苹果2017年便针对开发者们发布了用于iOS设备上AR应用开发的ARKit开发工具，2020年发布的iPad Pro为消费电子设备首次搭载dToF模组，可视为苹果针对5G时代AR领域的进一步布局。

iPad Pro搭载的LiDAR（激光雷达扫描仪），采用Sony 3万像素10μm dToF图像传感器，SPAD阵列的探测器，并集成了Lumentum的VCSEL芯片和TI的VCSEL驱动芯片，能达到ps级时间分辨率，可实现5米范围内的3D感知与成像，具备更快的AR建模速度、更高的测量精度和更少的抖动、错位。

Sony的dToF方案首次采用3D堆叠工艺，像素内连接通过混合键合互连技术将探测器晶圆和逻辑电路晶圆键合实现，同时，深沟槽隔离（Deep trench isolat ion）也被应用，充满金属的沟槽完全隔离了像素。从而有效控制了dToF 传感器的尺寸，使其成功的应用在iPad 这类小型消费电子设备中。

目前iPad Pro的LiDAR共呈现出三种典型场景的应用。AR测量、AR游戏和AR装修设计。

AR测量：LiDAR可以快速计算人的身高，并展现垂直和边缘引导线。通过开发者开发的app可实现对物体尺寸、建筑物更精细的测量。

AR游戏：LiDAR通过对周围真实环境的扫描和快速获得深度信息能力，为AR游戏开辟了更广阔的设计空间。如官网展示的《炽热熔岩 (Hot Lava)》电子游戏，可以把客厅变成一个虚拟的熔岩环境，游戏中的玩家可以跳到家具上以此来避开模拟中的地板熔岩。

iPad Pro上市后带动开发者不断丰富iOS平台上AR游戏内容，也使一些原有的AR游戏因为玩法升级而更具有生命力。

AR装修：iOS上的Shapr3D app，借助LiDAR对房间进行扫描创建3D模型，用户可以对该模型展开编辑或添加新对象，使用AR可以查看实际房间在编辑后的虚拟效果，帮助用户在装修动工前更真切体验设计效果。宜家Place应用同样可以通过扫描一个房间获得与之匹配的家具推荐，然后使用AR 查看家具摆放效果。

dToF在iPad Pro上的应用，可以视为苹果打通AR生态硬件基础的第一步。未来苹果通过技术改进和突破，有望将dToF引入手机端以及更多地AR设备，促进AR 硬件设备的发展同时，也激发设计师基于dToF的特性开发如建筑、教育、医疗等更多场景的AR内容应用，推动AR应用生态持续完善。

华为河图（Cyberverse）定义地球级XR 应用（包括VR、AR、MR等扩展现实技术），将AR应用拓展到更广阔的数字世界。华为河图（Cyberverse）被定义用来提供地球级的虚拟现实融合服务的数字平台，华为AR地图是其推出的第一个商业产品，主要功能包括AR实景导航、全息信息展示、虚实融合拍照及其他虚拟活动等。全场景空间计算能力是河图的核心，这一能力所需的宏观地图可以使用卫星定位，而室内及一些微观场所的建模定位则依赖智能手机的3D Sensing来完成。目前华为P40系列机型已经能够支持华为AR地图。