苹果提出混合图像数据与超声数据的AR/VR注视追踪专利

(XR Navigation Network 2024年10月28日）AR/VR头显越来越多地使用眼动追踪系统来追踪用户眼睛的位置和运动。厂商们正在积极探索与提升眼动追踪精度、稳定性和降低功耗的方法。

在一项专利申请中，apple提出了一种混合注视追踪方法，该方法结合了图像数据和超声数据。苹果指出，超声数据与成像数据的多种组合方式能够实现更低的功耗。此外，结合这两种数据进行注视追踪的方式比单独依赖其中任何一种方法更具稳健性，因为成像数据的受温度、压力和气流干扰较小，而超声数据则对杂散光的影响较少。

图1是描述眼球的3D表示，能够为每个用户独立生成眼睛100的眼球模型。

在一种实现形式中，通过识别光轴105来指示眼睛100的注视方向。视轴是用户感知的实际注视方向，并与光轴105存在角度偏移，视轴和光轴之间的角度偏移量因人而异。

在另一种实现中，估算眼睛的注视方向是基于确定光轴的两个位置。可以识别虹膜中心115a和角膜中心125的3D空间位置作为光轴105的两个位置。此外，眼球旋转中心110和角膜中心125的3D空间位置也可以作为光轴的两个位置。这些位置可以依赖于来自设备各种传感器的信息来确定。

在某种实现中，通过识别角膜120的空间属性来确定角膜中心125的位置。例如，可以利用传感器确定角膜的3D空间位置，然后据此确定角膜中心125的位置。同时，可以分析由注视追踪摄像头捕获的用户眼睛图像，以检测光源和瞳孔的闪烁。

在另外的实现中，超声传感器可以通过匹配通过距离测量获得的点云与眼睛100的已知模型来确定眼睛的位置和方向。

图2展示了一个头显框图，头显200包括一个注视追踪系统250，能够检测眼球位置和运动。

壳体201内部装置了注视追踪系统250，该系统包括成像系统220、超声系统230和控制器280。通过分析捕获的图像或深度信息，注视追踪系统250可以检测用户眼睛的位置和运动状态，或监测单只或双只眼睛的注视方向。

控制器280能够基于成像系统220和超声系统230的数据确定用户215的注视特性。例如，控制器280可以识别用户215一只或双只眼睛的注视方向，还可以判断用户215的眨眼状态。控制器280还可以识别跳眼运动、瞳孔中心、瞳孔大小或注视点。

在某种实现中，显示器210发射可见光波长范围内的光，而成像系统220采用近红外波长范围内的光进行检测。

超声系统230与成像系统220的操作可以集成，用于执行注视追踪。成像传感器能够运用瞳孔与闪烁模型确定注视方向。

图3展示了另一种头显框图，注视追踪系统250的成像系统220包括多个光源222，用于将光发射到用户215的眼睛上，这些光源222能够被图像传感器224检测到。

在某种实现中，超声系统230使用仅在空气中传播数厘米的频率。超声传感器232由多个阵列组成，每个阵列中包含50-100个不同的超声谐振器，可以测量超声信号的相位、幅度和频率。

在一个实施中，超声传感器232配置了至少一个向用户215的眼睛发射超声的发射器和多个接收回波信号的超声接收器。

超声传感器232的多个接收器有特定的空间布局，利用来自一个超声发射器的声波特征与多个超声接收器接收的回波信号来确定眼睛在3D坐标空间中的深度信息。

通过启动单个超声发射器和与一组超声接收器之间的关系来确定用户215眼睛的深度测量值。

在不同的频率上启动多个超声换能器，以确保在超声接收器刚调谐到相同频率时，得到的相位值与用户眼睛的深度一致。

通过同时启动多个超声发射器并测量不同空间排列超声接收器的信号来确定用户215眼睛的深度。在某种实施中，依次确定来自超声传感器232的用户215眼睛的深度测量值。这些深度数据帧可能包含用户215眼睛的一部分或整个眼睛。

当超声传感器232的深度测量与成像系统220的数据结合使用时，可以减少所需深度测量的次数或降低深度测量的帧率。例如，当与成像系统220结合时，来自超声传感器232的测量可以在10 Hz、20 Hz或40 Hz的帧率下进行，依然能满足成像系统220的性能需求。

在一个实施例中，当超声传感器232的深度测量与成像数据结合使用时，可以减少数据类型或数据量。例如，如果已知用户215眼睛的位置，图像传感器224可以用于识别图像中的瞳孔并通过检测角膜闪烁来测量其方向矢量，但角膜闪烁的深度信息则可由超声传感器232提供。

在一种实现方案中，超声系统230的测距精度可能受到气流、温度以及压力的影响，而不会影响成像系统220的测量。因此，成像系统220的测量值可以作为依据，校正超声系统230的测距漂移。

另外，成像系统220的光测量质量可能受到杂散光的干扰，而超声系统230的测量则不受此影响。因此，超声系统230的测量可以作为校正成像系统220眼睛位置估计的参考。

综合来看，注视追踪系统250的成像系统220与超声系统230共同提供了更稳健的注视追踪功能。

在一种实现中，成像系统220和超声系统230能够分别产生代表其数据或当前测量的可靠性信号。当成像系统220的可靠性降低时，可以启用超声系统230进行更优先的注视追踪。

在另一种实现中，当超声系统230的可靠性降低时，可以反而优先启用成像系统220进行注视追踪。

在一种实现方案中，电子设备可以在多种注视追踪模式之间交替操作，其中每种模式会使用成像传感器的第一数据和超声传感器的第二数据的不同组合。例如，某些模式可能会使用成像系统220的第一数据和超声系统230的第二数据的组合。

在某种实现中，超声系统230在第一时间段内维持注视追踪的第一模式。在另一种实现中，超声系统230始终启用用于注视追踪的功能，条件触发时才会启动成像系统220进行注视追踪。这可能基于正在使用的特定应用或功能。

在一种实施中，超声系统230提供的注视追踪精度较成像系统220更低。因此，根据注视追踪的需求精度，可以选择超声系统230或成像系统220。

图5展现了同时使用成像数据与超声数据进行混合注视追踪的流程图。混合注视追踪相比于任何单一方法显得更为稳健，因为前者对温度、压力和气流的影响较小，而后者对杂散光的抗干扰能力更强。

通过使用超声数据和光测量数据进行有效组合，能够有效对抗环境噪声，获得所需的测量精度和功耗表现。

在510，利用眼睛的第一图像中的基光测量来检测第一属性。

在520，依据深度信息确定与第一属性相关的第一位置在3D坐标系中的位置。

在530，使用依据超声眼睛测量获得的深度信息来检测眼睛的第二属性。

在540，基于超声传感器的深度信息和眼睛部分的3D模型来确定与第二属性相关的第二位置在3D坐标系中的位置。

在550，利用第一和第二位置确定3D坐标系中的注视方向。

名为“Hybrid gaze tracking system”的苹果专利申请最初在2024年2月提交，并于近期由美国专利商标局公布。