Valve专利介绍基于成像的角度敏感检测器的光学眼动追踪方法

查看引用/信息源请点击：XR导航网

（XR导航网 2023年12月20日）眼动追踪是一种用于检测眼睛位置、方向或运动的过程。侵入性最小的方法可以使用一个或多个光学探测器或传感器来光学追踪眼睛，例如使用红外光照亮整个眼睛，同时用至少一个对红外光敏感的光学传感器测量反射。分析红外光如何从眼睛反射的信息，以确定一个或多个眼睛特征的位置、方向和/或运动。

在名为“Optical tracking including imaging-based angle sensitive detectors”的专利申请中，V社就介绍了一种采用基于成像的角度敏感检测器的光学眼动追踪方法。

图4的头显设备405包括用于确定用户注视方向的硬件传感器和附加组件，例如眼动追踪子系统的一个或多个眼动追踪组件472。所述组件可以安装在显示面板406和408附近和/或位于光学透镜系统410和412附近的内表面421，冰用于获取有关用户瞳孔494的实际位置信息。

每个眼动追踪组件472可包括一个或多个光探测器和任选的一个或多个光源，例如，红外LED。尽管图4中显示了四个眼动追踪组件472，但在实践中可以提供不同数量的眼动追踪组件。另外，每个眼动追踪组件472包括指向用户424眼睛432和434之一的光源，以及定位为接收由用户的各自眼睛反射的光的光检测器。

图5示出了使用多个眼动追踪组件的示例。每个眼动追踪组件都包括光源和光检测器，并用于确定用户的凝视位置。在所示实施例中，眼动追踪子系统的四个眼动追踪组件511a-511d，统称为511，安装在光学透镜508的边缘附近，并且每一个指向眼睛504的瞳孔506，以用于向眼睛504发射光并捕获从瞳孔506周围虹膜502反射的光。

在本实施例中，眼动追踪组件511放置在以下位置：沿中央垂直轴靠近光学透镜508的顶部，沿中央垂直轴靠近光学透镜的底部，沿中央水平轴靠近光学透镜的左侧，以及沿中央水平轴靠近显示面板的右侧。在其他实施例中，眼动追踪组件511可以定位在其他位置，并且可以使用更少或更多的眼动追踪组件。

图6描述了示例性角度敏感光学探测器603的透视图600。图7为图6所示的角度敏感光学探测器603的截面图700，图8为角度敏感光学探测器的俯视图800。

在本例中，光学探测器603包括设置在公共衬底602的象限光电探测器604。象限光电探测器604包括四个由小间隙分隔的有缘区域604a-604d。应该认识到，可以使用其他类型的角度敏感探测器。

角度敏感探测器603包括位于光电探测器604上方或前方的不透明屏606。所述不透明屏606可以耦合到所述衬底602或与所述衬底602集成。所述不透明屏606具有允许来自对象614的光616通过的孔径608。在本实施例中，对象614是用户的眼睛，包括眼睛的暗瞳孔615。

光学探测器603同时包括位于不透明屏幕606的孔径608内的成像透镜610。有利地，成像透镜610配置成将用户眼睛614的瞳孔615的图像618聚焦到象限光电探测器。

即，成像透镜610可设计为具有与用户的眼睛614的瞳孔615相对于成像透镜610的期望位置基本共面的对象平面，以及与象限光电探测器604基本共面的成像平面。

光电探测器的每个元件604a-604d的有源区域单独可用，所以照亮单个象限的光可以电表征为仅在象限内。当光通过角度敏感探测器603时，光的能量分布在相邻的604a-604d元件之间，每个元件的电贡献的差异定义了光的相对位置。元件604a-604d的相对强度分布图可用于确定照射在单元的光的位置。

如图所示，从用户眼睛614反射的光616穿过透镜610形成眼睛614的图像618。图像618由于瞳孔615较暗，包含被较亮区域包围的黑点。这是因为深色瞳孔615反射的光线相对较少，而眼睛614的部分以及瞳孔周围使用者的脸部会反射光线。

由于暗瞳孔615将影响单元的光强度，因此可以对在象限光电探测器604形成的图像618进行电表征，以确定瞳孔615相对于角度敏感探测器603的位置。位置信息可用于注视追踪。

图9是对象追踪系统的成像透镜610和光学探测器603的简化视图900。如图所示，所述成像透镜610配置为将所述待追踪对象904的图像906聚焦到所述象限光电探测器604。即，成像透镜610可设计为具有与待追踪对象904相对于所述成像透镜610的预期位置基本共面的对象平面或空间，以及与象限光电探测器604基本共面的成像平面或空间。

这样，可以使用单元604a-604d来确定对象904在对象空间中的位置，从而可以追踪所述对象。

图10A是角度敏感光学探测器603和待检测对象1002的透视图1000，其中所述对象位于第一位置。所述对象1002可在其上包括确定的图案1004。图10B是图中角度敏感光学探测器603和待检测对象1002的透视图，其中所述对象1002位于第二位置。

如图所示，成像透镜610接收从对象1002反射的光1006，并在光电探测器单元604a-604b产生图案1004的图像1008。当所述对象1004从图10A所示的第一位置移动到图10B所示的第二位置时，所述图案1004的图象1008相应移动其位置。控制电路可用于处理从光电探测器单元604a-604b接收到的探测器数据，以沿着一个或多个维度追踪对象1002在空间中的位置。

在所示的示例中，图案1004可以设计为具有光和暗的交替部分，以帮助在光电探测器单元604a-606b提供更多的离散信号。在至少一些实施例中，提供离散信号可以提高光学探测器603在对象沿着一个或多个维度在空间中移动时追踪对象1002的能力。

在至少一个实施例中，机器学习技术可用于支持眼动追踪子系统。例如，可以提供机器学习系统的模型训练部分和推理部分。在训练部分，训练数据输入到机器学习算法中，并生成训练好的机器学习模型。在推理部分，可以将运行时数据作为输入提供给训练有素的机器学习模型，以进行眼睛位置推理。

名为“Optical tracking including imaging-based angle sensitive detectors”的V社专利最初在2023年5月提交，并在日前由美国专利商标局公布。

需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。另外，专利申请不一定意味着相关发明会商业化。