作者：VRPinea
Depth API深度感知技术的应用，
能够提升MR交互体验的真实感。
文 | 青崖白鹿
（VRPinea2023年10月16日讯）近日，Meta方面通过SDK v57推出了Mesh API和实验性版本的Depth API。这两个全新的功能可以丰富MR体验中的交互，并生成更多细节，使用户在MR模式中的交互感觉自然且真实。
Mesh API是一种环境的几何表示，可以将物理世界重构为基于三角形的网格。而基于Quest 3的空间设置功能，可以通过扫描墙壁、天花板和地板等房间元素来自动生成场景网格。基于Mesh API的一个浅显应用是，在实体墙上反弹虚拟小球。
（基于Scene Mesh功能的演示应用《Phanto》）
Depth API是一种深度感知技术，能够从用户的角度呈现物理世界的实时深度关系。通过使用Depth API，可以实现虚拟移动对象的动态遮挡。一个浅显应用是，虚拟宠物会被茶几挡住。
通过Mesh API和Depth API的结合应用，将在很大程度上提升MR体验的可信度。本期文章将聚焦Depth API深度感知技术，具体分析Depth API（深度应用程序接口）对MR体验的增益。
（Depth API原始深度图）
Depth API的提出
ARCore Depth API
谷歌团队在2019年底，提出了ARCore Depth API，作为Android平台的一部分，用于在移动设备上实现深度感知和AR功能。Depth API可以允许开发者在AR应用中更准确地理解环境中的深度信息，以改善虚拟物体与现实世界的互动和叠加。
（ARCore Depth API）
在Depth API正式提出前，受限于硬件配置，没有Tof深度传感器的设备，很难实现良好的AR体验。容易出现虚拟物体与现实物体之间缺乏层次感，虚拟物体容易漂移等情况。Depth API则可以通过算法感知深度关系，从而弥补硬件上的不足。
Depth API的一项重要功能就是“遮挡”。如何让用户觉得虚拟对象真正与现实场景融合在一起了呢？当虚拟对象如数字宠物等，能够被现实物体所遮挡时，用户的“出戏感”就会减轻很多了。
（ARCore Depth API示例图）
Depth API对于MR体验的增益
在苹果Vision Pro横空出世之前，业界（尤其是国内）对于VR头显、AR眼镜的认知，向来是比较泾渭分明的。而MR，则被通常认为是介于AR与VR之间的形态，可以将现实与虚拟的界限打破，提供横跨两个维度的独特体验。
但早前的MR体验，在某种程度上，可能更像是现实世界之中的虚拟“贴图”。可信度不高，且让人出戏。
环境感知
Depth API技术能够生成物理环境的三维深度信息，可以帮助MR设备更好地理解用户所处环境及现实物体之间的距离。从而更精确地定位虚拟对象，将之更准确地叠加到现实世界中，实现与物理世界的自然融合，为用户带去突破维度壁垒的体验感。
以Quest 3的Depth API为例，它可以从头显的视角提供实时、每眼、每帧的环境深度估计。同时，基于包括Depth API数据、网格场景数据等在内的空间数据，Quest 3可以融合物理和虚拟内容。
（环境感知网络示意图）
动态遮挡
当一只虚拟小猫从沙发的正面走到背面时，“你”会下意识地得出一个结论，它被沙发挡住了。如果在MR体验中，不能很好实现虚拟小猫被挡住的情况时，用户体验的真实感立即就会受到影响。
同样以Quest 3为例，利用Depth API，开发者可以轻松实现动态遮挡。这对于在相关游戏、应用程序或体验中，呈现虚拟内容和物理内容之间，可信的视觉交互至关重要，可以为用户带去更加连贯的真实感。
（Meta Depth API演示画面）
虚实交互
无论是AR、VR还是MR，其核心逻辑都是交互。通过Depth API，MR设备可以更准确地识别物体的边缘和轮廓，也更好捕捉用户的手势和手部动作。由此，用户可以通过手势在MR场域中调整虚拟物体、进行MR游戏及与虚拟宠物互动等，能够增强用户的参与感。
以MR游戏为例，在VST透视基础上，让游戏元素在现实场景中出现，这是迈向MR的第一步。真正的MR游戏，则应该是在虚实高度融合的基础上，让游戏与现实能够互相影响。简言之，用户的交互体验应该是兼顾现实场景与虚拟空间的。
（Quest 3宣传画面）
Depth API—MR—Quest 3
Meta对于MR的追求是有目共睹的。Meta内容生态总监Chris Pruett在3月的GDC 2023上专门介绍了Meta的MR开发平台Presence Platform。在上月底的Meta Connect 2023大会上，正式发布的Quest 3也不出所料地选择了主打MR功能。
一条比较清晰的逻辑线就出来了：Depth API能够增益MR体验，Quest 3主打MR功能。同时，需要注意的一点是，尽管Depth API发明的初衷是不依赖专用Tof摄像头和传感器实现深度感知，但这并不意味着Depth API对硬件没有需求。MR设备的硬件条件越好，Depth API能带来的体验也越好。
Quest 3无疑就是那个硬件条件更好的MR设备。搭载专用Tof深度传感器，基于高通骁龙XR2 Gen 2芯片，图形处理能力两倍于前代。要知道，高通骁龙XR2 Gen 2芯片的Slogan就是“赋能逼真的沉浸式MR和VR体验”。
（Quest 3与高通骁龙XR2 Gen 2芯片）
技术上的进步，无疑值得肯定。但有一点，实在不吐不快，MR与Meta“改名立志”的元宇宙之间，存在的共性似乎并不多，而技术的迭代是需要不断累积的。那么，将重心放到MR之上，究竟是Meta的又一元宇宙布局，还是单纯的饮鸩止渴，拆了东墙补西墙呢？
结语
三维虚拟物体的呈现不同于二维，深度的存在十分重要。Depth API深度感知技术的应用，就是为了进一步提升MR交互体验的真实感。
而这种真实感对于MR体验来说，是至关重要的。当虚拟内容与现实世界之间的“边界”得到消融，MR的体验才称得上实至名归！
本文属VRPinea原创稿件，转载请洽：brand@vrpinea.com
评论