Meta的支持网站现在描述了一个针对Quest头显的“头显摄像头”权限，强烈暗示透视（Passthrough）API即将发布。这一举措有望显著提升混合现实（MR）体验的开发潜力，为开发者打开新的创新之门。
什么是透视摄像头访问权限？
诸如Quest 3和Apple VisionPro之类的头显都使用摄像头让用户看到真实世界。然而，目前只有系统软件能够直接访问这些摄像头获取原始数据。第三方开发者可以使用透视功能作为背景，但他们实际上无法直接访问透视数据本身。他们获得的是由系统推导出的更高级别的数据，例如手部和身体骨骼坐标、包含家具边界框的3D环境网格，以及有限的对象跟踪功能。这意味着他们无法运行自己的计算机视觉模型，这极大地限制了这些头显的增强能力。
一个例外是 visionOS 2。Apple现在向企业公司提供对Vision Pro透视摄像头的原始访问权限，用于非公开的内部应用程序，但这需要获得Apple的特殊许可，并且仅限于“商业环境”。
Meta在2024年9月的Connect大会上宣布了透视API，并表示它将“支持各种前沿的MR体验”。 这项技术被业界广泛认为是下一代混合现实应用的关键要素。
仅仅五个多月后，一个Meta支持页面上线，描述了一种新的“头显摄像头”权限，该权限“允许应用程序访问来自头显前部的实时透视摄像头源”。 这标志着Meta在推动开放和增强现实应用开发生态方面迈出了重要一步。
该页面由VR爱好者Luna首先发现，并给出了Quest应用程序如何利用透视视图的三个示例：
• 对象识别。开发者可以创建识别和使用真实环境中的特定对象的应用程序。例如，可以集成物理游戏棋子或棋盘的数字棋盘游戏。
• 位置识别。 开发者可以创建根据摄像头馈送显示的位置而做出不同反应的体验。例如，室内或室外，著名地标，或特定类型的房间。
• 其他机器学习功能。 开发者可以针对来自实时摄像头馈送的数据运行自定义机器学习模型。这可用于重新纹理/着色、涉及未佩戴头显的参与者的游戏、人物/动物检测，或任何数量的自定义工业/培训用例。
此外，Google上个月确认，其即将推出的操作系统Android XR（将在三星的独立头显中首次亮相）将允许应用程序在发布时访问透视摄像头视图。 这进一步表明了行业对于透视技术和混合现实应用前景的重视。 透视API的开放将加速相关技术的创新与发展，预计未来将看到更多令人惊艳的MR应用涌现。
EN_US 
ZH