英伟达用Apple Vision Pro训练人形机器人

(XR Navigation Network 2024年08月03日）对于机器人来说，提供精确对应的输入数据进行训练至关重要。因此，业界和学界正积极利用XR的力量来帮助训练机器人。通过利用头显，人型机器人可以1：1地复刻映射人类操作员的动作，而软件可以实现在第一人称视频的实时传输和精确控制输出，同时保持极低延迟。

目前，英伟达正在利用Apple VisionPro来帮助训练人形机器人.

为了加速全球人形机器人的发展，英伟达日前宣布将为机器人制造商、人工智能模型开发商和软件制造商提供一套旨在帮助开发、训练和构建下一代人形机器人的服务、模型和计算平台。
​
其中，两个全新的人工智能微服务将允许机器人专家通过基于NVIDIA Omniverse平台的NVIDIA Isaac Sim中增强生成物理人工智能的仿真工作流程。
​
MimicGen NIM微服务可以根据来自Apple Vision Pro等空间计算设备的远程操作数据生成合成运动数据。Robocasa NIM微服务则在OpenUSD中生成机器人任务和模拟就绪环境。
​
​英伟达指出，训练人形机器人的基础模型需要大量的数据。获取人类演示数据的一种方法是利用远程操作，但该过程正变得越来越昂贵和漫长。
​
为此，团队演示了一个基于英伟达人工智能和Omniverse的远程操作参考工作流程，其中研究人员将能够从最少量的远程捕获人类演示中生成大量合成运动和感知数据。
​

首先，开发者使用Apple Vision Pro捕获少量远程操作演示，然后在NVIDIA Isaac Sim中进行模拟，并使用MimicGen NIM微服务生成合成数据集。
​
开发者可以使用真实和合成的数据训练Project GR00T类人基础模型，这样就可以节省时间，降低成本。然后，可以使用机器人学习框架Isaac Lab的Robocasa NIM微服务来生成体验，以重新训练机器人模型。在整个工作流程中，NVIDIA OSMO可以无缝地将计算工作分配给不同的资源，从而为开发者节省了数周的管理任务。