开发者发现如何访问 Quest 3 的穿透式摄像头

XR3mos agorelease XR-GPT
0 0

一位开发者找到了访问 Quest 3 透视摄像头的办法

oneDeveloper找到了一种巧妙的方法来访问 Quest 3 的透视摄像头,以运行自定义的计算机视觉模型。

Meta 不允许第三方开发者访问 Quest 头显的摄像头,但 手部追踪健身应用程序 XRWorkout 的联合创始人兼首席开发人员 Michael Gschwandtner 在社交媒体平台上发布了一段视频,展示了对这一限制进行有趣变通的结果。

演示视频展示了在 Quest 3 上以 0.75 Hz 的频率本地运行的开源 MobileNet V2 目标检测模型。

工作原理

Gschwandtner 的应用程序构建创建了一个 Web 视图,即嵌入在该应用程序中的 Chromium Web 浏览器实例,该实例会自动加载 oculus.com/casting URL,Quest 头显可以将视图投射到该 URL。

然后,您需要通过在这个 Web 视图中登录您的 Meta 帐户的完整过程。完成后,您可以使用 Quest 系统菜单启动网络投射。独特之处在于,您是从头显投射到同一头显内的应用程序,而不是投射到其他设备。

Gschwandtner 的应用程序然后对接收投射视图的 Web 视图的像素内容(渲染纹理)进行采样,并可以从那里进行他喜欢的任何操作。在演示示例中,他正在使用 Google 的 MediaPipe 设备上 SDK。

这里的一个关键限制是,视图将包括虚拟对象和界面,而不仅仅是摄像头视图,这意味着它只在图像大部分是透视的时候才有效。但 Gschwandtner 声称他有一个“计划”来解决这个问题。

接下来会发生什么?

Meta 将如何应对 Gschwandtner 的发现还不清楚。该公司有可能在未来版本的 Quest 的 Horizon OS 中使这种技术无法使用。Gschwandtner 的社交媒体帖子中包含一个公开请求,要求与 Meta 首席执行官马克·扎克伯格或首席技术官安德鲁·博斯沃斯“通话”,向他们“展示”这种技术。

上个月,博斯沃斯在接受采访时谈到了有意让 Quest 开发者访问透视摄像头的想法,他说 Meta 将“继续关注”这个问题。

相比之下,对于其 VisionPro 头显,苹果只向企业公司提供原始访问权限,且仅限于非公开的内部应用程序。

© Copyright notes

Related posts

No comments

none
No comments...