如何用眼睛和手控制 Apple Vision Pro

Apple Vision Pro 是通过眼球追踪和手势控制的，但究竟是如何控制的呢？

在 WWDC23 开发者谈话Apple 设计工程师解释了您的眼睛和双手如何协同工作来控制 Vision Pro 的 visionOS。

在 visionOS 中，您的眼睛是瞄准系统，就像移动鼠标或将手指悬停在触摸屏上一样。

用户界面元素会对查看它们做出反应，以表明它们已被选中。 此外，查看菜单栏会展开该栏，查看麦克风图标会立即触发语音输入。

将食指和拇指捏在一起相当于单击鼠标或按下触摸屏。 这会将“点击”发送到您的眼睛正在看的任何地方。

这很明显，但是您如何执行滚动等其他关键任务呢？

要滚动，您需要捏住手指并向上或向下轻拂手腕。 要放大或缩小，您需要双手并拢捏合，然后向外移动。 要旋转某物，你做同样的事情，但向上和向下。

所有这些手势都由您所注视的位置引导，因此您可以精确地控制用户界面，而无需将手举在空中或使用激光笔控制器。

这是一种非常直观的 AR/VR 交互方式，Vision Pro 结合了 TrueDepth 手部追踪传感器套件和精确的眼动追踪，使之成为可能。 理论上 Quest 临 本可以采用类似的方法，但基于摄像头的手部追踪可能不够可靠，并且 Meta 可能不想花时间在无法正常工作的交互系统上 Quest 2 和 3，它们都缺乏眼动追踪。

那些尝试过 Vision Pro 的人报告说，这种眼睛选择和手势的组合使得交互系统比他们以前尝试过的任何头显都更直观。 在我们的动手实践中，“看到 Apple 如此正确地做到这一点感觉真好”。 它真正体现了 Apple 的“it ​​just works”理念。

不过，有些任务通过直接用手可以更好地完成。 例如，您在 visionOS 上输入文本时同时使用虚拟键盘进行键入。 Apple 建议使用“直接触摸”的其他场景包括检查和操作小型 3D 对象以及重建真实世界的交互。

Meta 也正朝着与其直接接触的方向发展 Quest 系统软件。 但它将它用于所有交互，模仿触摸屏，而不是仅用于某些特定任务。 这不需要眼动追踪，但确实需要将您的手举在空中，随着时间的推移这会让人感到疲劳。