Excerpts from New AR/VR Patent Applications filed at the USPTO on April 01, 2024
Article related citations and references:XR Navigation Network
(XR Navigation Network April 01, 2024) Recently, the U.S. Patent and Trademark Office announced a batch of newAR/VR专利,以下是XR导航网的整理(详情请点击专利标题),一共31篇。更多专利披露请访问XR导航网专利板块https://patent.nweon.com/To search, you can also join the XR Navigation Network AR/VR patent exchange WeChat group (see the end of the article for details).
1. "Google Patent | Optical combiners with improved efficiency and uniformity(谷歌专利:提高效率和均匀性的光学组合器)》
在一个实施例中,专利描述的光学组合器包括诸如衍射光栅的再循环光学器件,所述再循环光学器件可以接收在光学组合器的体积中行进的浪费显示光,并且将浪费显示光重定向到其他光学器件,从而可以有效地使用浪费显示光来产生显示器。光学组合器同时可以包括均匀化光学器件,其可以重新分布不均匀的显示光,以产生更均匀的显示,这反过来使得能够使用更高效的光学器件。
2. "Google Patent | System and method of identifying visual objects(谷歌专利:识别视觉对象的系统和方法)》
在一个实施例中,专利描述的系统包括具有显示器、摄像头和处理器的手持设备。当摄像头捕捉图像并将其显示在显示器上时,处理器将与一个图像相关联地检索的信息与与与后续图像相关联的检索的信息进行比较。处理器使用这种比较的结果来确定用户可能最感兴趣的对象。显示器同时显示图像。
在一个实施例中,使用生成模型来实现增强现实中的照片真实感文本修复。可以用机器学习的生成模型来处理所捕获的图像,以产生增强图像。增强图像可以描绘去除了真实世界文本的真实世界场景。具体来说,因为使用了机器学习的生成模型,所以增强图像可以看起来明显更逼真。
在一个实施例中,专利描述的电子设备通过麦克风阵列的多个麦克风获得声学信号,同时在显示器显示视觉对象。电子设备基于所获得的声学信号,获得与提供麦克风阵列的空间中的声学信号的传播特性相关的第一信息。电子设备基于用于在显示器中显示视觉对象的第一信息和第二信息来改变与视觉对象相对应的音频信号。电子设备使用扬声器提供改变后的音频信号。
在一个实施例中,专利描述的投影设备包括配置为输出图像光的光源;配置为将所述图像光向外投影的投影透镜;配置为拍摄位于摄像头和被投影的图像光的外部投影表面之间的对象的摄像头;配置为在阻挡时段期间阻挡由光源输出的图像光的光阻挡器;以及至少一个处理器。处理器配置为:获得关于外部投影表面的照度的照度信息,设置由光源输出的图像光被阻挡的阻挡时段,基于照度信息,在阻挡时段内设置拍摄时段,控制光阻挡器在阻挡时段期间阻挡光源输出的成像光,并且控制摄像头在拍摄时段期间拍摄对象。
6.《Samsung Patent | Display 设备 and head mounted display 设备(三星专利:显示设备和头戴式显示设备)》
在一个实施例中,专利描述的显示设备包括显示部分、第一光学部分和第二光学部分,显示部分包括第一表面和与第一表面相对的第二表面,光从第一表面沿第一方向发射,第一光学部分设置在第一表面上,第二光学部分设置在第一面上以在与第一方向交叉的第二方向上与第一光学部分间隔开。第一光学部分和第二光学部分中的每一个都包括多通道透镜、第一红外光源、第一摄像头、以及在第一方向上耦合到多通道透镜以支撑多通道透镜的至少一部分的第一透镜框,来自第一表面的光穿过多通道透镜。第一透镜框可以包括其中布置第一红外光源的第一凹陷结构和其中布置第一摄像头的第二凹陷结构。
在一个实施例中,专利描述的电子设备可以包括存储计算机可执行指令的存储器和配置为通过访问存储器来执行指令的处理器。指令可以使处理器控制电子设备接收用于请求将与第二实体的交互应用于第一实体的语音输入;基于所接收的语音输入来获得与所述第二实体相对应的图形表示;在所述电子设备的显示器上的与所述第一实体相对应的屏幕区域上显示所获得的图形表示;以及基于接收到用于所述第二实体的控制输入,向与所述第一实体相对应的外部设备发送从所述控制输入转换的用于触发所述外部设备的操作的控制命令。
在一个实施例中,专利描述的电子设备包括接收用于所述可佩戴电子设备的多个操作情景以根据操作情景来执行操作,指定所述多个操作语境之间的优先级,计算与多个摄像头的移动相关的参数以执行具有最高优先级的操作语境,以及基于所述多台摄像头的移动来改变由所述多部摄像头形成的组合视场和重叠区域。
在一个实施例中,可穿戴设备的处理器包括:基于用于基于包括在从第一摄像头输出的第一帧中的像素之间的差异来选择像素内的至少一个特征点的分类信息,获得包括所述可佩戴设备的空间中的所述可穿戴设备的姿势信息,基于通过所述分类信息在所述多个区域中的每一个区域中获得的特征点的数量,识别包括在基于显示器形成的视场中的多个区域的每一个中的分辨率,以及将基于指示佩戴所述可穿戴设备的用户的注视的注视信息所识别的分辨率中的、对应于多个区域当中的第一区域的分辨率改变为大于对应于第二区域的分辨率的分辨率。
在一个实施例中,专利描述了一种在元宇宙中进行智能用户定位的方法,包括:检测配置为向用户呈现虚拟内容的可穿戴头戴式装置的移动,并分别使用惯性传感器和摄像头生成传感器数据和视觉数据,使用与视觉数据相关联的图像将视觉数据映射到虚拟世界,以在虚拟世界中定位用户;将所述视觉数据和所述传感器数据分别提供给第一ML模型和第二ML模型;从视觉数据中提取多个关键点,并区分稳定关键点和动态关键点;以及去除与具有相对低的权重的视觉数据相对应的视觉影响,并向通过第二ML模型处理的传感器数据提供相对高的权重。
在一个实施例中,专利描述的电子设备可以包括:包括第一系统的第一支撑框架;包括第二系统的第二支撑框架;开关模块,包括至少一个开关,所述开关配置为改变所述第一系统和所述第二系统之间的电力路径的配置;以及至少一个处理器,其设置在所述第一系统和/或所述第二系统中并可操作地连接到所述开关模块。其中,所述至少一个系统中的一个或多个处理器配置为改变所述开关模块的配置,使得在所述电子设备的第一指定条件下,电力路径连接到第一电源(VBUS)的电力路径,并且改变所述切换模块的配置,从而在所述电子设备的第二指定条件下将所述第一系统和第二体系之间的所述电力路径连接至第二电源(VBAT)的电力通路。
12.《Sony Patent | Image display apparatus and display apparatus(索尼专利:图像显示设备和显示设备)》
在一个实施例中,专利描述的图像显示设备包括光源、至少两个图像形成设备、四分之一波片、分束器、透镜和用于用户的每只眼睛的目镜。在所述至少两个图像形成设备中,第一图像形成设备设置在相对于透镜的光轴的预定角度方向上,并且第二图像形成设备提供在基本垂直于透镜光轴的方向上。从光源发射的光依次经由透镜、分束器和四分之一波片入射在第一图像形成设备和第二图像形成设备上。从第一图像形成设备发出的第一图像光和从第二图像形成设备发射的第二图像光依次经由四分之一波片、分束器和目镜入射到用户的每一只眼睛上。
13.《Sony Patent | Information processing apparatus, information processing method, and program》
在一个实施例中,专利描述的信息处理设备包括获取单元和再现控制单元。获取单元获取关于回避区域的回避区域信息,在回避区域中,作为再现虚拟内容的目标的目标人物的进入或者显示给目标人物的针对目标人物的虚拟对象的进入中的至少一个是要回避的目标。回避区域信息是基于与目标人物不同的另一对象的位置或者显示给该另一个对象的针对该另一对象虚拟对象的位置中的至少之一而生成。再现控制单元基于所获取的回避区域信息来控制虚拟内容向目标人物的再现。
14.《Sony Patent | Customized digital humans and pets for metaverse(索尼专利:为元宇宙定制数字人和宠物)》
深度学习用于在元宇宙应用程序中动态调整虚拟人。自适应可以根据用户偏好进行。附加地或可替换地,虚拟人和宠物可以基于用户的人口统计来适应元宇宙应用。用户的个人人口统计可以用于建立虚拟人的服装、肤色、情绪、声音和行为。类似的考虑可以用于使虚拟宠物适应用户对元宇宙的体验。
在一个实施例中,分析表示用户注视的注视追踪数据以确定一个或多个感兴趣区域。根据注视追踪数据来确定一个或多个注视追踪参数。基于所述一个或多个注视追踪参数来确定表示随后将呈现给用户的一个或更多个图像中的一个或者更多个感兴趣区域的经调整的大小和/或形状的经调整注视数据。对所述一个或多个传输的图像的压缩进行调整,使得传输一个或更多个感兴趣区域之外的图像部分的数据所需的比特比传输一个或者更多个感感兴趣区域内的图像部分所需的更少。调整压缩包括从扫视或眨眼期间呈现给用户的图像中消除感兴趣的区域。
在一个实施例中,专利描述的信息处理设备包括:识别单元;光检测测距单元,以及校正单元。校正单元配置为基于由识别单元输出的三维识别信息来校正点云中的所指定区域的三维坐标。
在一个实施例中,专利描述的系统包括一种头戴式显示器;包括处理部分的娱乐设备,所述处理部分执行部分通过接收来自用户的输入来操纵的交互式应用;操作以将从娱乐设备输出的视频和音频信号中继到头戴式显示器的通信组件。
18.《Snap Patent | Opacity control of augmented reality 设备s(Snap专利:增强现实设备的不透明控制)》
在一个实施例中,专利描述的AR眼镜设备具有透镜系统,透镜系统包括光学屏蔽机制。光学屏蔽机制使得能够在传统的透视状态和不透明状态之间切换透镜系统。在不透明状态中,透镜系统屏蔽或在功能上遮挡佩戴者对外部环境的视场。
19.《Snap Patent | Augmented reality spatial audio experience(Snap专利:增强现实空间音频体验)》
在一个实施例中,专利描述了使用具有空间音频的眼镜设备的沉浸式增强现实体验的设备。眼镜设备具有处理器、存储器、图像传感器和扬声器系统。眼镜设备捕获设备周围环境的图像信息,并识别同一环境内的对象位置。眼镜设备然后将虚拟对象与所识别的对象位置相关联。眼镜设备监测设备相对于虚拟对象的位置,并呈现音频信号以提醒用户所识别的对象在环境中。
在一个实施例中,通过计算设备捕获第一图像数据,第一图像数据包括目标演员的目标面部和目标演员的面部表情,面部表情包括嘴唇运动。发明至少部分地基于源媒体内容的帧来生成源姿势参数的集合;接收从一组面部表情中选择的特定面部表情;至少部分地基于源姿势参数的集合和特定面部表情的选择来生成输出媒体内容;至少部分地基于输出媒体内容提供增强现实内容以用于在计算设备显示。
twenty one. "Snap Patent | Augmented expression system(Snap专利:增强表情系统)》
在一个实施例中,专利描述的实施例涉及一种增强表情系统,所述增强表情系统生成并促使显示专门配置的界面以呈现增强现实视角。增强表情系统接收用户的图像和视频数据,并基于图像和视频信息实时追踪用户的面部标志,以生成并呈现用户的三维表情符号。
twenty two. "Snap Patent | Steerable camera for ar hand tracking(Snap专利:用于AR手部追踪的可操纵摄像头)》
在一个实施例中,用于AR系统的首部追踪系统。AR系统使用AR系统的摄像头来捕捉AR系统的用户的手的视频帧数据。AR系统基于视频帧数据生成骨架模型,并基于骨架模型确定用户的手的位置。AR系统使AR系统的可操纵摄像头聚焦在用户的手上。
在一个实施例中,基于处理器的XR设备的处理器被配置为应用默认功率分布,并使用眨眼检测电路来检测基于处理器的XR设备的用户的闭眼事件。响应于检测到闭眼事件,处理器从多个功率分布中选择测试功率分布,并应用该测试功率分布。处理器然后测量基于处理器的XR设备的操作特性,并将该操作特性与相应的参考范围进行比较。基于所述比较,所述处理器更新所述多个功率简档中的一个或多个功率配置文件。
twenty four. "Qualcomm Patent | User authentication based on three-dimensional face modeling using partial face images(高通专利:基于局部人脸图像三维人脸建模的用户认证)》
在一个实施例中,执行用户认证的系统可以包括获得与用户的面部和面部表情相关联的多个图像,其中多个图像中的每个相应图像包括面部的不同部分。编码器神经网络可以用于生成一个或多个预测的3D面部建模参数,其中编码器神经网络基于多个图像生成一个或者多个预测三维面部建模参数。可以获得与面部和面部表情相关联的参考3D面部模型。可以确定一个或多个预测的3D面部建模参数与参考3D面部模型之间的误差,并且可以基于小于预定认证阈值的误差来认证用户。
25.《Qualcomm Patent | Recommendations for extended reality systems(高通专利:针对扩展现实系统的建议)》
在一个实施例中,系统确定与扩展现实系统的真实世界环境相关联的一个或多个环境特征。该系统确定与扩展现实系统的用户相关联的一个或多个用户特征。系统同时基于一个或多个环境特征和一个或更多个用户特征输出与扩展现实系统支持的至少一个应用程序相关联的通知。
26.《Qualcomm Patent | Managing signals on multiple wireless links(高通专利:管理多个无线链路上的信号)》
在一个实施例中,专利描述了一种用于在第一用户设备(UE)进行无线通信的方法。在所述方法中,第一UE通过SL与一个或多个UE进行通信。第一UE进一步发送或接收用于与一个或多个UE的SL通信或与网络实体的上行链路通信的配置信息。
在一个实施例中,专利描述了用于延迟预算的自适应配置的统计延迟报告的装置。所述装置配置为在UE处测量与与LCH相关联的业务的延迟预算相对应的延迟统计。装置配置为向网络实体发送与LCH的traffic相关联的报告。所述报告包括与延误预算相对应的延误统计数据的说明。另一装置配置为从UE接收与与LCH相关联的traffic相关联的报告,报告包括与在UE处测量的延迟统计相关联的测量值的指示,而测量值对应于与LCH相关联的traffic的延迟预算。所述另一装置配置为针对所述UE发送延迟预算配置,所述延迟预算配置针对所述LCH中的至少一个在所述UE处调整延迟参数。
在一个实施例中,专利描述的法包括从被配置为向用户提供增强现实或混合现实输出的系统中的设备的多个传感器中的每一个接收传感器数据。基于预定特征集合的传感器数据来确定特征值。使用已经基于从一个或多个设备捕获的传感器数据的示例训练的误校准检测模型来处理所确定的特征值,以预测是否已经发生多个传感器中的一个或更多个的误校准状况。基于错误校准检测模型的输出,系统确定是启动对多个传感器中的至少一个传感器的外部参数的重新校准还是绕过重新校准。
29.《Magic Leap Patent | Surface appropriate collisions(Magic Leap专利:表面适用碰撞)》
在一个实施例中,专利描述的系统和方法用于呈现与虚拟对象碰撞表面相关联的音频信号。虚拟对象和表面可与混合现实环境相关联。音频信号的生成可以基于来自麦克风的音频流和来自传感器的视频流中的至少一个。在一个实施例中,虚拟对象和表面之间的碰撞与表面的足迹相关联。
在一个实施例中,专利描述的示例方法包括访问eye tracking信息,眼动追踪信息反映与用户相关联的眼睛度量。系统确定距离度量的灵敏度度量。灵敏度测量可用于修改显示系统和/或用于执行测试的协议的物理或操作参数。
31.《HTC Patent | Tracking system, tracking method, and self-tracking tracker(HTC专利|追踪系统、追踪方法和自追踪追踪器)》
在一个实施例中,专利描述的自追踪追踪器,包括:追踪传感器检测传感器数据,第二摄像头获取第二图像,第二处理器基于传感器数据生成自追踪结果,基于第二图像和自追踪结果生成第二追踪结果,第二网络模块将第二追踪成果提供给第一网络模块。第一处理器同时配置为基于第一追踪结果和第二追踪结果更新用户在虚拟世界中的化身。