索尼专利：含多个标记的设备

patent名称: 包含多个标记物的装置

专利PDF:20240198211

公开号: 20240198211

公开日期: 2024-06-20

专利权人: Sony Interactive Entertainment Inc

摘要

一种输入设备，包括一个外壳体和多个配置成向外壳体外部发射光线的标记物 30d、30e 和 30p。当两个标记物 30d 和 30e 的法线方向之间的角度差小于预定阈值时，两个标记物 30d 和 30e 之间的距离等于或大于预定第一距离。当两个标记物 30d 和 30p 的法线方向之间的角度差等于或大于预定阈值时，两个标记物 30d 和 30p 之间的距离等于或大于预定第二距离，并且第二距离小于第一距离。

权利要求

1. 一种装置，其包括:一个外壳体，其包括: 一个抓握部分，供用户手抓握; 以及一个弯曲部分，其中: 弯曲部分包括多个配置成向外壳体外部发射光线的标记物，以及从多个标记物发射的光线被用于确定装置的相对位置。

2. 如权利要求 1 所述的装置，其中: 弯曲部分从抓握部分的第一侧延伸到抓握部分的第二侧，并且抓握部分的第一侧与抓握部分的第二侧相对。

3. 如权利要求 1 所述的装置，还包括: 多个配置成由用户操作的操作部件。

4. 如权利要求 3 所述的装置，其中: 多个操作部件与弯曲部分间隔开，并且多个操作部件与抓握部分间隔开。

5. 如权利要求 4 所述的装置，其中: 多个操作部件排列在外壳体的头部上，并且包括用于执行倾斜操作的模拟操纵杆; 以及至少一个按键。

6. 如权利要求 5 所述的装置，其中: 装置是与头戴式显示器通信的输入设备，并且装置配置成由于其移动和操作多个操作部件中的一个或多个而控制软件。

7. 如权利要求 6 所述的装置，其中: 使用连接到头戴式显示器的图像传感设备捕获一个或多个装置图像。

8. 如权利要求 1 所述的装置，其中: 多个标记物包括提供在弯曲部分第一侧的第一组标记物; 以及 提供在弯曲部分第二侧的第二组标记物，并且弯曲部分的第一侧与弯曲部分的第二侧在弯曲部分的宽度方向上间隔开。

9. 一种装置，其包括: 一个外壳体，其包括: 一个抓握部分，供用户手抓握; 一个弯曲部分; 以及多个配置成由用户操作的操作部件，其中: 弯曲部分包括多个配置成向外壳体外部发射光线的标记物，以及 从多个标记物发射的光线被头戴式显示器的图像传感设备接收，以确定装置的相对位置。

10. 如权利要求 9 所述的装置，其中: 弯曲部分从抓握部分的第一侧延伸到抓握部分的第二侧，并且抓握部分的第一侧与抓握部分的第二侧相对。

11. 如权利要求 9 所述的装置，其中: 多个操作部件与弯曲部分间隔开，并且多个操作部件与抓握部分间隔开。

12. 如权利要求 11 所述的装置，其中: 多个操作部件排列在外壳体的头部上，并且包括用于执行倾斜操作的模拟操纵杆; 以及至少一个按键。

13. 如权利要求 12 所述的装置，其中: 装置是与头戴式显示器通信的输入设备，并且装置配置成由于其移动和操作多个操作部件中的一个或多个而控制软件。

14. 如权利要求 9 所述的装置，其中: 使用头戴式显示器的图像传感设备捕获一个或多个装置图像。

15. 一种系统，其包括: 一个装置，其包括一个外壳体，其包括: 一个抓握部分，供用户手抓握; 以及一个弯曲部分; 以及一个包括图像传感设备的头戴式显示器，其中: 弯曲部分包括多个配置成向外壳体外部发射光线的标记物，以及头戴式显示器通过图像传感设备捕获从多个标记物发射的光线，以确定装置的相对位置。

16. 如权利要求 15 所述的系统，其中: 弯曲部分从抓握部分的第一侧延伸到抓握部分的第二侧，并且抓握部分的第一侧与抓握部分的第二侧相对。

17. 如权利要求 15 所述的系统，其中: 装置还包括多个配置成由用户操作的操作部件。

18. 如权利要求 17 所述的装置，其中: 多个操作部件与弯曲部分间隔开，并且多个操作部件与抓握部分间隔开。

19. 如权利要求 18 所述的装置，其中: 多个操作部件排列在外壳体的头部上，并且包括用于执行倾斜操作的模拟操纵杆; 以及至少一个按键。

20. 如权利要求 19 所述的系统，其中: 装置配置成由于其移动和操作多个操作部件中的一个或多个而控制软件。

说明

与相关申请的交叉引用

本申请是 2021 年 9 月 8 日提交的美国专利申请序列号 17/593,059 的延续，该申请是国际专利申请号 PCT/JP2020/010622 的国家阶段进入，该申请于 2020 年 3 月 11 日提交，该申请要求 2019 年 3 月 18 日提交的 JP 2019-050039 的优先权，其全部内容通过引用并入本文。

技术领域

本发明涉及包含多个标记物的装置。

背景技术

PTL 1 公开了获取通过对游戏设备前面的空间成像获得的帧图像的游戏设备，该设备从帧图像中发光二极管 (LED) 图像的游戏控制器的的位置估计出游戏控制器在真实空间中的位置信息和姿态信息，并将估计的位置信息和/或姿态信息反映在游戏应用程序的处理中。

引用列表

专利文献

PTL 1

日本专利公开号 2007-296248

摘要

待解决的技术问题

头戴式显示器 (HMD) 装配在用户的头上，为用户提供虚拟现实 (VR) 视频空间。戴着 HMD 的用户操作输入设备中的操作按钮，从而可以对视频空间进行各种输入。

近年来，跟踪设备的位置和姿态以反映在 VR 空间中的三维 (3D) 模型上获得的信息的技术已广泛使用。游戏空间中玩家角色或游戏对象的移动与待跟踪设备的位置和姿态的变化同步，从而实现了用户直观的操控。多个标记物（例如发光元件）用于跟踪设备，通过对多个标记物成像获得的图像进行分析，从而识别图像中标记物图像的位置，由此估计出设备在真实空间中的位置和姿态。为了高精度地跟踪设备的位置和姿态，需要准确识别通过对设备成像获得的图像中标记物图像的位置。

因此，本发明的一个目的是提供一种多个标记物以实现高精度跟踪的装置。值得注意的是，虽然该装置可以是包含操作按钮的输入设备，但该装置也可以是仅作为待跟踪目标的装置，不包含任何操作部件。

解决问题的方案

为了解决上述问题，根据本发明的一个方面，一种装置包括一个外壳体和多个配置成向外壳体外部发射光线的标记物，并且当两个标记物的法线方向之间的角度差小于预定阈值时，两个标记物之间的距离等于或大于预定距离。

附图简要说明

图 1 是示出了实施例中信息处理系统配置示例的图。

图 2 是示出了 HMD 外部形状示例的图。

图 3 是示出了 HMD 的功能框图。

图 4 是示出了输入设备的外部形状的图。

图 5 是示出了输入设备的功能框图。

图 6 是示出了对输入设备成像获得的图像的一部分示例的图。

图 7 是示出了输入设备右侧面形状的图。

图 8 是示出了弯曲部分的示意图的图。

图 9 是用于说明同一表面上的两个标记物的法线方向的图。

实施例的描述

图 1 是示出了实施例中信息处理系统 1 的配置示例的图。信息处理系统 1 包括信息处理设备 10、记录设备 11、HMD 100、用用户的手指操作的输入设备 16 以及输出图像和声音的输出设备 15。输出设备 15 可以是电视机。信息处理设备 10 通过接入点 (AP) 17 连接到外部网络 2，例如互联网。AP 17 具有无线接入点和路由器的功能，信息处理设备 10 可以通过电缆连接到 AP 17，或者可以通过已知的无线通信协议连接到 AP 17.

记录设备 11 记录系统软件和应用程序，例如游戏软件。信息处理设备 10 可以通过网络 2 从内容服务器下载游戏软件到记录设备 11。信息处理设备 10 执行游戏软件，并将游戏图像数据和声音数据提供给 HMD 100。信息处理设备 10 和 HMD 100 可以通过已知的无线通信协议连接在一起，或者通过电缆连接在一起。

HMD 100 是一种显示设备，用户将其装配在头上，并在位于眼睛前面的显示面板上显示图像。HMD 100 在左侧眼睛的显示面板上单独显示左侧眼睛的图像，并在右侧眼睛的显示面板上显示右侧眼睛的图像。这些图像形成从左右眼点看到的视差图像，以实现立体视图。为了让用户通过光学镜头看到显示面板，信息处理设备 10 向 HMD 100 提供通过校正镜头引起的光学畸变而获得的视差图像数据。

虽然戴着 HMD 100 的用户不需要输出设备 15，但是准备输出设备 15 使得其他用户可以看到输出设备 15 的显示图像。虽然信息处理设备 10 可以与戴着 HMD 100 的用户看到相同的图像在输出设备 15 上显示，但也可以显示其他图像。例如，当戴着 HMD 100 的用户与其他用户一起玩游戏时，从输出设备 15 可以显示来自另一个用户的角色的眼点的游戏图像。

信息处理设备 10 和输入设备 16 可以通过已知的无线通信协议连接在一起，或者通过电缆连接在一起。输入设备 16 包括多个操作部件，例如操作按钮，用户在抓握输入设备 16 期间用手指操作这些操作部件。当信息处理设备 10 执行游戏时，输入设备 16 用作游戏控制器。输入设备 16 配备有包括三个轴加速度传感器和三个轴陀螺仪传感器的姿态传感器，并且以预定周期（例如，1600 Hz）将传感器数据传输到信息处理设备 10.

实施例的游戏不仅处理输入设备 16 中操作部件的操作信息，还处理输入设备 16 的位置、姿态、移动等操作信息，并将操作信息反映在虚拟三维空间中玩家角色的移动上。例如，操作部件的操作信息可以用作移动玩家角色的信息，输入设备 16 的位置、姿态、移动等操作信息可以用作移动玩家角色手臂的信息。例如，在游戏内的战斗场景中，输入设备 16 的移动反映在手持武器的玩家角色的移动上，从而实现了用户直观的操控，这使得用户对游戏的沉浸感得到了增强。

为了跟踪输入设备 16 的位置和姿态，在输入设备 16 上提供了可以被安装在 HMD 100 上的图像传感设备 14 成像的多个标记物（发光部分）。信息处理设备 10 分析通过对输入设备 16 成像获得的图像，以估计输入设备 16 在真实空间中的位置信息和姿态信息，并将估计的位置信息和姿态信息提供给游戏。

在 HMD 100 上，安装了多个图像传感设备 14。多个图像传感设备 14 以不同的姿态附加到 HMD 100 前面的表面上的不同位置，以使通过将图像传感设备 14 的成像范围相加获得的总体成像范围包括用户的整个视野。图像传感设备 14 优选是能够获取输入设备 16 中多个标记物的图像的图像传感器。例如，当标记物发射可见光时，图像传感设备 14 包括用于通用数字摄像机的可见光传感器，例如电荷耦合器件 (CCD) 传感器或互补金属氧化物半导体 (CMOS) 传感器。当标记物发射不可见光时，图像传感设备 14 包括不可见光传感器。多个图像传感设备 14 以同步时间和预定间隔（例如，60 帧/秒）对用户前面的空间成像，并将通过对输入设备 16 成像获得的图像数据传输到信息处理设备 10.

信息处理设备 10 识别捕获的图像中包含的输入设备 16 的多个标记物图像的位置。值得注意的是，虽然一个输入设备 16 可以通过多个图像传感设备 14 在同一时间成像，但由于图像传感设备 14 的附加位置和附加姿态是已知的，因此在这种情况下，信息处理设备 10 可以组合多个捕获的图像以识别标记物图像的位置。

输入设备 16 的三维形状以及排列在其表面上的多个标记物的坐标是已知的，因此信息处理设备 10 基于捕获的图像中标记物图像的分布估计出输入设备 16 的坐标和姿态。输入设备 16 的坐标可以是三维空间中的坐标，其中参考位置为原点，参考位置可以是游戏开始之前设置的坐标（经度和纬度）。

值得注意的是，信息处理设备 10 也可以通过利用输入设备 16 中的姿态传感器检测到的传感器数据来估计输入设备 16 的坐标和姿态。因此，实施例中的信息处理设备 10 利用基于图像传感设备 14 获得的捕获图像的估计结果和基于传感器数据的估计结果，以便以高精度对输入设备 16 进行跟踪处理。

图 2 是示出了 HMD 100 的外部形状示例的图。HMD 100 包括输出机制部分 102 和装配机制部分 104。装配机制部分 104 包括装配带 106，用户将其戴在头上，佩戴在头部周围，以将 HMD 100 固定在头上。装配带 106 具有可以根据用户的头部周长调整长度的材料或结构。

输出机制部分 102 包括在用户佩戴 HMD 100 的状态下覆盖左右眼睛的形状的外壳 108，并在其中包括在佩戴 HMD 100 时直接位于眼睛前面的显示面板。显示面板可以是液晶面板、有机电致发光 (EL) 面板等。在壳体 108 内，还包括一对左眼和右眼光学镜头，它们位于显示面板和用户眼睛之间，以扩大用户的观看角度。HMD 100 还可以包括扬声器和头显，其位于对应于用户耳朵的位置，或者可以配置成能够连接外部头显。

在壳体 108 前面的外表面上提供了多个图像传感设备 14a,14b,14c and 14d。参考用户的视线方向，图像传感设备 14a 附加到前面的外表面的右上角，使得摄像机光轴斜向上指向右侧，图像传感设备 14b 附加到前面的外表面的左上角，使得摄像机光轴斜向上指向左侧，图像传感设备 14c 附加到前面的外表面的右下角，使得摄像机光轴斜向下指向右侧，图像传感设备 14d 附加到前面的外表面的左下角，使得摄像机光轴斜向下指向左侧。以这种方式安装多个图像传感设备 14，因此，通过将图像传感设备 14 的成像范围相加获得的总体成像范围包括用户的整个视野。上述用户的视野可以是用户在虚拟三维空间中的视野。

HMD 100 将姿态传感器检测到的传感器数据以及图像传感设备 14 进行成像获得的图像数据传输到信息处理设备 10，并接收在信息处理设备 10 中生成的游戏图像数据和游戏声音数据。

图 3 是示出了 HMD 100 的功能框图。控制部分 120 是一个主处理器，它处理和输出各种类型的数据，例如图像数据、声音数据、传感器数据和命令。存储部分 122 临时存储控制部分 120 处理的数据、命令等。姿态传感器 124 获取有关 HMD 100 移动的传感器数据。姿态传感器 124 包括至少一个三个轴加速度传感器和一个三个轴陀螺仪传感器。

通信控制部分 128 通过网络适配器或天线，以有线或无线通信方式将从控制部分 120 输出的数据传输到外部信息处理设备 10。此外，通信控制部分 128