Text2HOI: Text-Guided 3D Motion Generation for Hand-Object Interaction

注意: 我们无法审查论文

日期：2024 年 5 月

团队: 蔚山科技大学 2KETI 3Adobe Research

author: Junuk Cha，Jihyeon Kim，Jae Shin Yoon，Seungryul Baek

PDF:Text2HOI: 用于手-物体交互的文本引导 3D 运动生成

摘要

本文介绍了首个用于在 3D 中生成手-物体交互序列的文本引导工作。主要挑战来自于缺乏标记数据，现有地面实况数据集在交互类型和物体类别方面无法泛化，这阻碍了对来自文本提示的不同 3D 手-物体交互进行建模，而这些交互具有正确的物理含义（例如，接触和语义）。为了解决这一挑战，我们建议将交互生成任务分解为两个子任务：手-物体接触生成；以及手-物体运动生成。对于接触生成，基于 VAE 的网络将文本和物体网格作为输入，并生成在交互期间手表面与物体表面之间接触的概率。该网络学习了不同物体独立于物体类别的各种局部几何结构，因此，它适用于一般物体。对于运动生成，基于 Transformer 的扩散模型利用此 3D 接触图作为强大先验，通过从增强标记数据集学习，根据文本提示生成物理上合理的对手-物体运动；我们从许多现有的 3D 手和物体运动数据中标注文本标签。最后，我们进一步引入了一个手细化模块，该模块最小化了物体表面和手关节之间的距离，以提高物体-手接触的时间稳定性并抑制穿透伪影。在实验中，我们证明了与其他基线方法相比，我们的方法可以生成更逼真和多样化的交互。我们还表明，我们的方法适用于看不见的物体。我们将发布我们的模型和新标记的数据，作为未来研究的坚实基础。代码和数据可在： 此 https URL 中获取。