oneDeveloper找到了一种巧妙的方法来访问 Quest 3 的透视摄像头,以运行自定义的计算机视觉模型。
Meta 不允许第三方开发者访问 Quest 头显的摄像头,但 手部追踪健身应用程序 XRWorkout 的联合创始人兼首席开发人员 Michael Gschwandtner 在社交媒体平台上发布了一段视频,展示了对这一限制进行有趣变通的结果。
演示视频展示了在 Quest 3 上以 0.75 Hz 的频率本地运行的开源 MobileNet V2 目标检测模型。
工作原理
Gschwandtner 的应用程序构建创建了一个 Web 视图,即嵌入在该应用程序中的 Chromium Web 浏览器实例,该实例会自动加载 oculus.com/casting URL,Quest 头显可以将视图投射到该 URL。
然后,您需要通过在这个 Web 视图中登录您的 Meta 帐户的完整过程。完成后,您可以使用 Quest 系统菜单启动网络投射。独特之处在于,您是从头显投射到同一头显内的应用程序,而不是投射到其他设备。
Gschwandtner 的应用程序然后对接收投射视图的 Web 视图的像素内容(渲染纹理)进行采样,并可以从那里进行他喜欢的任何操作。在演示示例中,他正在使用 Google 的 MediaPipe 设备上 SDK。
这里的一个关键限制是,视图将包括虚拟对象和界面,而不仅仅是摄像头视图,这意味着它只在图像大部分是透视的时候才有效。但 Gschwandtner 声称他有一个“计划”来解决这个问题。
接下来会发生什么?
Meta 将如何应对 Gschwandtner 的发现还不清楚。该公司有可能在未来版本的 Quest 的 Horizon OS 中使这种技术无法使用。Gschwandtner 的社交媒体帖子中包含一个公开请求,要求与 Meta 首席执行官马克·扎克伯格或首席技术官安德鲁·博斯沃斯“通话”,向他们“展示”这种技术。
上个月,博斯沃斯在接受采访时谈到了有意让 Quest 开发者访问透视摄像头的想法,他说 Meta 将“继续关注”这个问题。
相比之下,对于其 VisionPro 头显,苹果只向企业公司提供原始访问权限,且仅限于非公开的内部应用程序。