苹果专利为AR/VR和手机之间的不对称环境呈现提供解决方案

4,688 0

表示环境不对称

（XR导航网 2023年11月17日）XR会话可以通过一系列设备访问。例如，像头显这样的设备可以显示会话的XR视图，而像智能手机这样的其他设备只会显示XR视图。苹果称XR视图和非XR视图为“Asymmetric presentation of an environment专利申请中提出了相应的呈现方法。

图3显示了300个通信环境。用户可以使用具有各种访问XR会话功能的设备来访问XR会话。例如，第一个用户可以使用笔记本电脑等第一个通信设备302，并使用非XR图形用户界面GUI 304访问XR会话。第二用户可以使用306的第二通信设备，如头显，并使用XR GUI 308访问XR会话。

可根据给定设备显示描述XR会话共享虚拟元素的信息，并可根据设备的属性和功能进行调整。

图4A显示了XR会话的非XR第一视图400，图4B显示了XR相同XR会话的第二视图450。

通常，在XR会话中，XR会话的重点是XR会话的内容。场景图可以编码共享虚拟元素，然后描述与共享虚拟元素相比的三维关系，以增强参与者与XR会话内容交互的能力。

同样的场景图可以用来渲染第一个视图400和第二个视图450。例如，假设视图来自同一个POV，无法显示XR视图的第一个设备可以根据场景图显示第一个视图400中显示的视图，而能够显示XR视图的设备可以根据场景图显示第二个视图450中显示的视图。

作为另一个例子，相同的场景图可以包括一个或虚拟对象来描述虚拟对象，以及它们各自的位置。第一个设备可以在虚拟元素UI中使用虚拟对象的全部或子集显示在408中的列表中，而第二个设备可以显示在第二个视图450中。能够参与XR会话的设备可以包含一个特征映射层，以帮助设备确定如何呈现场景图中描述的元素。

特征映射层可用于转换设备场景图的各个方面。特征映射层可以特定于设备或设备类型，并可以定义设备如何呈现XR对话的共享虚拟元素。

设备中共享元素的呈现取决于设备的功能。例如，头显可以显示XR对话的3D表示，而特征映射层可以解释这一点。然后，头戴系统可以配置为呈现XR会话的视图，虚拟元素可以在空间上围绕XR会话的3D设置排列共享。然后，头戴系统的用户可以共享不同的虚拟元素(如402B视频元素)、游戏元素454、用户1、在用户2和用户3之间进行空间移动。

平板电脑和智能手机可以使用2D、非XR视图显示在XR会话的3D设置中，使XR会话的空间扁平化。相应的特征映射层可以指示该设备呈现3D设置的3D表示，然后通过光栅、光跟踪或其他方式生成3D设置的2D视图406来显示2D第二视图450。

在这种情况下，用户1的视角406位置对应于用户1在XR会话3D设置中的Avatar位置。当用户1在视角406中与视频元素402A交互时，用户1的Avatar在XR3D设置中查看相应的视频元素402B。

在XR的第二个视图中，用户可以指向和突出共享的虚拟元素或与之互动。在这个例子中，用户2与视频元素402B交互。例如，当用户2触摸视频元素402B时，可以确定相对于视频元素402B的相对位置，并在场景图中编码相对位置。与虚拟元素相比，交互可以跨设备转换，但在分辨率、宽高比、大小等方面存在差异。

在实施例中，进入XR会话的非XR视图比XR视图更有限，在使用非XR视图时，可能更难看到XR会话中的其他用户，以及其他可能与相同虚拟元素交互的用户。

为了帮助解决这些问题，非XRE视图可以包含一个UI元素，以指示其他用户参与XR会话。

XR会话的重点通常是共享虚拟元素，特征映射包括代表特定共享虚拟元素的替代方法，而不是围绕3D设置在空间中。在实施例中，可以从场景图中确定用户在XR会话中与之交互的共享虚拟元素。2D第二视图450中可以收集和显示交互式共享虚拟元素。

通过收集和显示交互共享虚拟元素，用户可以更容易地在XR会话中找到他们可能与之交互的虚拟元素。

在一个实施例中，用户可以使用虚拟元素UI与另一个用户互动。参考图6，用户1可以从虚拟元素608中选择用户2。作为响应，第一个视图600中显示的视图606可以移动到用户2，用户元素616可以根据所述选择突出显示。

在一个实施例中，用户2可以在移动视图606之前获得批准交互的选项。在第二个视图650中，可以移动用户1的Avatar面对用户2的Avatar。

您可以为每个用户捕获不同的运动数据。例如，用户1可以通过包含摄像头和/或点投影仪的平板电脑设备参与XR对话。可以分析摄像头和/或点投影仪捕获的图像，生成运动数据，如平板电脑设备生成用户的面部。

参与的设备可以配置为从各种传感器中收集信息，并从相关信息中生成通用格式的运动数据。另一种参与设备可以接收运动数据，并使用运动数据来动画与第一用户对应的Avatar。

在实施例中，通过XR视图访问XR会话的用户可以发起交互。例如，用户2可能会尝试与用户1互动，并将他们的Avatar转向用户1，按下按钮，尝试触摸用户1的Avatar等。当用户2发起与用户1的交互时，用户1的视角606可以移动到面向用户2的位置，并突出显示虚拟元素UI 608中对应用户2的用户元素616。

图7显示了多用户通信会话中交互的第一项技术700。

702年，第一通信设备接收多用户通信会话与第一通信设备第一用户与第二通信设备第二用户相关的数据，其中与多用户通信会话相关的第一数据配置为XR图形用户界面或非沉浸式GUI。

704年，第一通信设备确定第一通信设备可以呈现非沉浸式GUI。例如，非XR设备可以确定非XR设备支持XR对话的非XR视图，或者非XR设备不支持XR对话的XR视图。

在706，第一通信设备呈现非XR GUI，非XR GUI包括多用户通信会话中包含的虚拟对象的非XR表示，以及基于多用户通信会话相关数据的第二用户表示。例如，非XR设备可以显示XR会话的非XR视图。

非XR视图可以包含虚拟元素UI，并表示用户可以与之交互的虚拟元素，如XR应用程序、其他用户和其他交互式虚拟元素。

在实施例中，第一项技术700可以包括与多用户通信会话相关的第二项数据。例如，XR设备可以参与XR会话，并从XR会话中接收数据。

在实施例中，数据可以包括描述虚拟环境和XR会话元素的场景图。第二通信设备可以呈现基于第二数据的虚拟对象的XR表示和第一用户在第二用户环境中的Avatar的XR GUI。

第二个通信设备可以更新XR GUI，Avatar与虚拟对象之间的第二次交互，用响应指示第二次交互的第二个数据来解释。

在一个实施例中，图像数据可以在第一通信设备中捕获。例如，第一个设备的一个或多个摄像头可以捕获图像数据。第一通信设备可以根据图像数据生成描述第一用户运动的运动数据。

例如，可以分析摄像头捕获的图像来生成运动数据。第一通信设备可以将运动数据传输到第二通信设备。第二通信设备可以接收运动数据，并根据运动数据动画第一用户的Avatar。

在实施例中，第一通信设备可以更新非XR GUI，为了解释第二用户脱离虚拟对象的表示，并表明第二用户不再与对象互动。

在实施例中，非沉浸式GUI基于场景图，包括显示多用户通信会话视图的视角、多用户通信会话中的虚拟对象列表和多用户通信会话中其他用户的指示。XR GUI也以场景图为基础，在多用户通信会话中包含三维视图。