香港大学和加州大学研究用Vision Pro操控远程机器人系统

(XR Navigation Network 2024年07月18日）模仿学习是训练机器人完成日常生活任务（如洗碗或烹饪）的有效方法。但这项技术依赖于详细的人类演示数据，因此数据的收集至关重要。

远程操作系统被用于收集相关数据，它允许人类操控机器人完成特定任务。然而，许多现有的远程操作系统难以有效地处理复杂、协调的人类手部动作。

为了解决这一难题，香港大学and加州大学的研究人员开发了一种名为Bunny-VisionPro的系统，利用Apple VisionPro帮助操作员远程操控机器人系统，实现双手灵巧的操作任务。

值得注意的是，加州大学圣地亚哥分校和麻省理工学院也在进行类似的研究。

香港大学和加州大学的研究团队表示：“我们这项研究的灵感来自于推动机器人双手灵巧远程操作的需求。我们注意到，现有的基于视觉的远程操作系统很少关注双手控制，而这对于需要手部协调的复杂任务至关重要。”

因此，研究人员希望开发一种通用的远程操作系统，能够支持不同类型的机器人和任务，同时显著简化机器人控制算法训练的演示数据收集过程。

他们开发的系统名为Bunny-VisionPro。利用Apple Vision Pro，远程操作和演示数据的收集变得直观且身临其境，如同1:1映射。

研究人员解释道：“Bunny-VisionPro是一种创新的远程操作系统，允许人类操作员实时控制双机械臂和多指手。它能够实现高质量的示范数据收集，并有助于推动模仿学习的发展。”

该系统轻便且易于携带。当用户远程操作设备时，他们会收到视觉和触觉反馈，大幅提升了体验的沉浸感。

在初步测试中，结果显示Bunny-VisionPro系统能够实时、低延迟地安全控制机器人机械手，同时防止其与附近物体发生碰撞。该系统易于安装和部署，使其成为机器人实验室收集演示数据的理想解决方案。

Bunny-VisionPro包含三个关键组件：手臂运动控制模块、手部和运动重定向模块以及触觉反馈模块。

研究人员解释道：“手臂运动控制模块将手腕姿势重定位到机器人的末端执行器姿势。手部和运动重定向模块将人手姿势映射到机器人手姿势，包括对环关节结构的支持。最后，触觉反馈模块通过算法和硬件设计将机器人的触觉感知转化为人类的触觉反馈。”

这种全新的远程操作系统的主要优势在于能够实时安全地控制手动机器人系统。与之前的几种解决方案相比，它集成了触觉和视觉反馈，使得体验更加身临其境，并提高了远程操作的成功率。

在接下来的研究中，团队计划利用机器人的触觉信息来进一步提高操作能力，以获得更好的精度和适应性。系统的代码已开源，可以通过GitHubaccess.

CheckCitation/SourcePlease click:techxplore