苹果AR/VR专利：腕带天线阻抗特性传感实现连续手势追踪

(XR Navigation Network 2024年08月12日）手势操控是Apple VisionPro的关键功能之一。除了头显的追踪功能外，用户还可以利用腕带设备进行手势追踪。现有的腕带手势追踪系统主要采用光学方法，例如RGB摄像头、热摄像头和测距仪等等，但这些方法容易受到遮挡的影响，而且基于腕带摄像头的方案存在固有的隐私问题。

为了解决这些问题，apple在名为“Continuous hand pose tracking with wrist-worn antenna impedance characteristic sensing”的专利申请中提出了一种基于腕带天线阻抗特性传感的连续手势追踪方法。

该发明采用了一种名为“加载模式”的电场传感，其中辐射元件与人体电容耦合，并且与人体的距离足够接近。辐射元件靠近人体组织意味着用户成为了辐射元件接地平面的一部分。在高操作频率和相应的短波长下，耦合的人体组织（如手腕）比虚拟无限接地平面小得多。

在工作频率下，手势的变化会改变天线的有限接地平面，任何手势的变化都会表现为天线产生的波长变化。手势的区分定义为在预定频率下，由于手势引起的耦合虚拟接地平面变化引起的自共振位移而导致的天线复杂阻抗的变化。根据天线拓扑结构，这种耦合效应可能发生变化和增强。

简单来说，实时天线复杂阻抗特性可以用于识别不同的手势。传感器数据由机器学习后端进行解释，并输出一个完整的3D手部模型。即使手部被织物遮挡，系统也能进行连续追踪。在一种实施方案中，系统可以追踪两个自由度的手腕角度和微手势。手势追踪系统可以扩展到包括两个或更多，甚至在不同自谐振频率下工作的不同类型的天线。

因此，可以使用至少一个腕带设备的处理器，基于与设备耦合的至少一个天线的动态有限电气接地平面确定阻抗特性变化，并根据确定的阻抗特性变化预测用户的手势。

确定阻抗特性变化包括：测量至少一个天线的返回损失幅度和复阻抗幅度以及相移，并将它们作为频率函数；然后确定测量返回损失幅度的阻抗特性变化以及复阻抗幅度和相移。计算返回损失幅度和复阻抗幅度和相移的一阶导数；确定损失幅度较低值的指数；计算返回损失幅度和相移的平均值；计算返回损失幅度和相移的最小值和最大值；计算返回损失幅度和相移的标准偏差；并将返回损失幅度、最小值、最大值和标准偏差的一阶导数、低值指数聚合为输入特征向量；最后将输入特征向量提供给机器学习模型。

图1A展示了一个带有天线阻抗特性传感的连续手势追踪的示例性腕带手势追踪设备100。设备100包括天线101A、101B、矢量网络分析仪（VNAS）102A、102B、处理器103、电源104（例如电池）、通信端口105（例如USB端口）和附件设备106（例如弹性带、尼龙搭扣等）。

图1B是手势追踪处理管道的框图。管道包括一个或多个天线101A…101n，一个或多个VNA和一个或多个处理器103。处理器103运行实现功能提取器107和一个或多个机器学习模型108的软件。训练数据109用于训练机器学习模型108以预测各种手势。

在处理器103运行的软件通过串行总线与VNA 102a、102b通信。为了初始化自身，每个VNA 102a、102b被编程为在21个步骤中测量返回损失幅度（±20 MHz，以1.38 GHz为中心）。检测到天线共振频率（返回损失幅度的最低值），每个VNA根据最低值（通常相位移较小）重新对焦，以最大化灵敏度。

在一种实施方案中，VNA 102a、102b被配置为在时分复用模式下连续感知该频率范围（以避免相互干扰），使得一次仅传输和测量一个VNA。每个VNA测量返回损失幅度（21个数据点）和相移（21个信息点）。由于本示例中有两个VNA，因此单个完整的数据帧包含84个总数据点。当然，捕获完整的数据点帧大约需要410ms，使得帧速率为2.4Hz。

对于4组值（两个返回损失幅度阵列和两个相移阵列）中的每一组，特征提取器107计算一阶导数（20个特征×4）、峰值指数（1个特征×3）、平均值、最小值、最大值和标准偏差（4个值×4）。

计算产生了100个可用于输入机器学习模型108（例如神经网络）的附加特征。在一种实施方案中，使用每个VNA的21个幅度值和21个相移值，计算每个频率下的阻抗，产生84个附加特征（21个实部和21个虚部分量×2 VNA）。对于附加特征，计算了一阶导数（20个特征×4）、均值和标准偏差（2个特征×3）。这导致了另外172个特征，总共356个（84+100+172）特征可作为机器学习模型108的输入。

图2A-2C展示了用于测量天线101a、101b的射频返回损失的腕带设备。当用户的手改变几何形状时，由用户组织变化形成的扩展天线接地平面也会随之改变天线101a、101b的自共振，从而改变在预定频率下观察到的天线101a和101b的阻抗特性。

每个图示的手势下方是天线101a和101b的S11参数幅度（dB）和相位（度）的曲线图。可以观察到，三个示例性手势引起明显的相位位移，并移动幅度的峰值频率。

图3A-3D说明了四种天线拓扑的测量和模拟结果。所有四种天线拓扑在与用户手臂平面内产生各向异性辐射模式，其包围了用户手势操作的体积。

该团队通过这四种天线拓扑进行了真实世界的实验，以观察三个示例性手势如何改变天线的自共振，从而改变其复杂的特性阻抗，如图4A-4H所示。

苹果指出，基于真实世界的实验，所有四种天线设计都能够准确地预测手势。

图5A-5F展示了根据实例测量和模拟放置在手腕前部位置的第一三叶天线和放置在手腕其他五个位置之一的第二三叶天线的结果。

图6A-6C展示了在三个示例性手势的前部位置模拟三叶天线的电场分布。

图7A和7B展示了当一个天线放置在手腕的前部位置并且另一个天线放置在手腕的左后位置时，在共振频率下模拟的电场强度分布。

图10是根据具体情况使用腕部佩戴天线复杂阻抗特性传感的连续手势追踪过程的流程图。

该过程（1000）包括：

1. 使用腕带设备，基于与设备耦合的至少一个天线的动态有限电气接地平面确定阻抗特性变化（1001）；
2. 基于确定的阻抗特性变化，预测佩戴设备的用户的手势（1002）；
3. 基于预定的手部姿势执行动作（1003）。

名为“Continuous hand pose tracking with wrist-worn antenna impedance characteristic sensing”的苹果专利申请最初于2022年9月提交，并于近日由美国专利商标局公开。