Meta & ETH Zurich 研究人员称已解决将任何表面变成键盘的问题

来自Meta和ETH苏黎世的研究人员开发了一种名为TouchInsight的软件系统，他们声称解决了将任何表面变成虚拟键盘的问题。

目前，VR和AR中的文本输入非常麻烦，速度远远低于PC和智能手机。浮的虚拟键盘需要你举起手慢慢按键，没有任何触觉反，也无法让你休息手腕。Quest头显支持与蓝牙键盘配对，以实现全速输入，但这意味着你需要携带一个比头显本身更大的设备。

如果头显可以将任何平面变成虚拟键盘，那么它将提供部分触觉反，并允许你休息手腕，而无需携带物理键盘。开发者可以通过使用手部跟和让用户点击表面来进行校准，从而在Quest上构建表面锁定的虚拟键盘。但在实践中，即使虚拟表面高度与实际表面有微小的偏差，也会导致不可接受的错误率。

Meta去年展示了解决这个问题的研究成果，其CTO Andrew Bosworth称他达到了每分钟120个字的速度。但去年的解决方案似乎需要在桌子上放置一系列的识别标记，这可能是作为一个强大的动态校准系统。另外，Meta没有透露该系统的错误率。

在TouchInsight论文中，六位研究人员称他们的新解决方案只达到每分钟70个字的最大速度，平均速度为37个字。普通人在传统键盘上输入速度约为每分钟40个字，而专业打字员的速度则在每分钟70到120个字之间，取决于他们的技能水平。

但关键的是，TouchInsight显然只需要一个标准的Quest 3头显，在任何表面上工作，没有任何标记或外部硬件。虽然Meta没有透露去年的系统的错误率，但研究人员说TouchInsight的平均未正错误率仅为2.9%。

“在本文中，我们提出了一种实时管道，仅基于自我中心的手部跟，从任何物理表面检测所有十个手指的触摸输入。
我们的方法TouchInsight包括一个神经网络来预测触摸事件的时刻、触摸的手指和触摸位置。TouchInsight通过双变量高斯分布表示位置，以考虑由于传感器不准确性造成的不确定性，我们通过上下文先验来准确推断用户的输入意图。”

TouchInsight也可以用于检测手指在物理表面上的按压，超出仅仅是输入。例如，研究人员说，它可以实现一个混合现实的Whac-A-Mole游戏，你可以用手指按压小鼠。