Meta正式推出IOBT和Generative Legs,用AI支持全身Avatar

Quest7一个月前发布 firefly
4,920 0 0

查看引用/信息源请点击:XR导航网

XR导航网 2023年12月16日Meta早前发布的Inside-Out Body Tracking (IOBT)和Generative Legs已经正式通过v60支持Unity和Native(Unreal待支持)。现在,开发者可以实现逼真映射用户动作的全身Avatar。

Meta正式推出IOBT和Generative Legs,用AI支持全身Avatar

目前大多数头显只追踪用户的头和手,而且由于摄像头数量和视场覆盖的限制,系统有时候需要借助IK来估计手臂,所以造成不准确。

但对于Meta全新的消费者头显Quest 3,它将能够利用它的多个前置摄像头,尤其是侧面的摄像头,以及先进的计算机视觉算法来追踪用户的手腕、手肘、肩膀和躯干,从而能够精确地追踪上半身。Meta称之为内向外身体追踪/Inside-Out Body Tracking(IOBT)。

除了允许Quest 3精确追踪上半身之外,Meta同时提供了可以通过AI估算下半身姿态的Generative Legs/生成式双腿。

团队表示,它通过人工智能模型来估计双腿的位置。由于可以利用精确上半身追踪作为输入,预计Generative Legs可以提供更精确的双腿估计。

但需要注意的是,由于只是估计,Generative Legs目前仅能支持估计行走,跳跃,蹲下等粗略的动作,不能覆盖更为细微的动作。

随着Inside-Out Body Tracking (IOBT)和Generative Legs已经正式通过v60支持Unity和Native(Unreal待支持),现在开发者可以同时结合两者,并实现能够逼真映射用户动作的全身Avatar。

值得一提的是,除了Avatar方面,Meta同时在不断优化Quest系统,包括混合现实。例如在10月,Meta曾通过SDK v57推出了Mesh API和实验性版本的Depth API 。这两个全新的功能可以丰富MR体验中的交互,并生成更多的细节,提高用户体验的真实感。

其中,Mesh API允许你访问Scene Mesh。这种环境的几何表示将物理世界重建为单个基于三角形的网格。Meta Quest 3的空间设置功能通过捕获房间元素来自动生成场景网格,而你的应用程序可以使用Scene API查询相关数据。

至于Depth API,你现在可以支持快速移动对象的动态遮挡,比如虚拟角色、宠物、四肢等等,并帮助你解锁MR体验。

© 版权声明

相关文章

暂无评论

暂无评论...
zh_CNZH
Powered by TranslatePress