一个模型搞定所有绑定:VAST/Tripo 推出 UniRig,实现多样化、自动化 3D 绑定

UniRig 利用自回归模型和新颖的标记化方案,在各种角色和对象上均表现出色,有望打破 3D 动画瓶颈。

3D 内容创作领域正在蓬勃发展。在复杂的传统工作流程和 AI 驱动的生成工具(如 Tripo 自身的产品)的共同推动下,对高质量 3D 资产的需求激增。然而,一个关键瓶颈依然存在:绑定(rigging)。将静态 3D 网格转换为具有骨骼和蒙皮权重的可动画角色,仍然是一个复杂、耗时且通常需要大量专业知识的手动过程。
现有的自动化解决方案提供了一定的缓解,但往往不够完善。基于模板的方法在其预定义结构(如标准双足动物)内表现出色,但缺乏灵活性,无法应对当今创建的各种模型。免模板方法提供了更大的适应性,但经常难以生成拓扑有效的骨骼或需要复杂的后处理,从而阻碍了实际应用。
今天,Tripo 很高兴推出 UniRig,一个新颖的统一自动骨骼绑定框架,旨在克服这些限制。正如我们在最新研究论文《一个模型搞定所有绑定:UniRig 实现多样化骨骼绑定》中详细阐述的那样,UniRig 提供了一个强大的模型,能够为前所未有的各种 3D 模型生成高质量的骨骼绑定——从人类和动物到复杂的虚构角色,甚至是无机结构。

UniRig 方法:自回归预测与新颖的标记化方案

UniRig 的核心在于利用大型自回归模型的强大功能,类似于推动语言和图像生成进步的模型。UniRig 不是预测像素或单词,而是逐关节地预测 3D 骨骼的结构。这种顺序预测过程是确保生成拓扑有效骨骼的关键。
实现这一点的关键设计是我们的**骨骼树标记化(Skeleton Tree Tokenization)**方法。将具有复杂关节相互依赖性的分层骨骼结构表示为适合 Transformer 的线性序列并非易事。我们的标记化方案有效地编码了:

  1. 关节坐标: 骨骼关节的离散空间位置。
  2. 分层结构: 明确的父子关系,确保有效的树结构。
  3. 骨骼语义: 特殊标记用于识别骨骼类型(例如,Mixamo 等标准模板骨骼,用于头发/布料模拟的动态弹簧骨骼),这对于下游任务和逼真动画至关重要。

这种优化的标记化(与朴素方法相比,序列长度减少了约 30%)使自回归模型(基于 OPT 架构)能够有效地学习骨骼结构的底层模式,并以形状编码器处理的输入网格几何体为条件。

超越骨骼:精准蒙皮与属性

一旦预测出有效的骨骼,UniRig 会采用**骨骼点交叉注意力(Bone-Point Cross Attention)**机制来预测每个顶点的蒙皮权重。该模块有效地捕捉了每根骨骼对周围网格表面的复杂影响,结合了网格和骨骼的几何特征,并关键性地通过测地距离信息进行增强,以提高空间感知能力。
此外,UniRig 还能预测骨骼特定属性(例如弹簧骨骼的刚度或重力影响),从而直接根据学习到的参数实现更符合物理规律的次级运动,并通过训练期间的可微分物理模拟进行评估,以增强真实感。

Rig-XL:用数据助力泛化

一个模型的好坏取决于其数据。为了训练 UniRig 具有广泛的适用性,我们策划了 Rig-XL,一个包含超过 14,000 个多样化、已绑定 3D 模型的新型大规模数据集。Rig-XL 源自 Objaverse-XL 等资源并经过精心清理,涵盖多个类别(双足动物、四足动物、鸟类、昆虫、静态物体等),并提供了训练真正通用绑定模型所需的规模和多样性。我们还辅以 VRoid 数据集,以改进对带有弹簧骨骼的详细动漫风格角色的性能。

领先的性能表现

UniRig 显著提升了自动绑定领域的最新水平:

  • 准确性: 在具有挑战性的数据集上,与现有学术和商业方法相比,实现了显著的改进,绑定准确性(关节预测)提升了 215%,运动准确性(动画下的网格变形)提升了 194%
  • 通用性: 在广泛的类别中展现出强大的性能——详细角色、动物、复杂有机和无机形状——而这些是以前的方法经常失败的领域。
  • 鲁棒性: 生成拓扑健全的骨骼和合理的蒙皮权重,与以前的学术方法和流行的商业工具相比,动画质量更优。
  • 效率: 优化的标记化和模型架构带来了实用的推理时间(1-5秒)。

UniRig 为何重要

UniRig 代表着解决现代 3D 流程中绑定瓶颈的重大一步。通过提供快速、准确和通用的自动化解决方案,它有可能:

  1. 加速生产: 减少绑定所需的时间和专业知识,让艺术家能专注于创意任务。
  2. 实现新工作流程: 与 AI 驱动的 3D 模型生成输出无缝集成,使大量的生成内容库能够轻松地进行动画制作。
  3. 增强交互性: 支持人机协作优化;用户可以编辑预测的骨骼(例如,添加/删除骨骼,调整拓扑),并重新生成绑定,将自动化与艺术控制相结合。
  4. 普及动画: 降低创建动画 3D 内容的门槛。


展望未来:开源发布

秉持 Tripo 致力于推动该领域发展的承诺,我们正在开源 UniRig。我们相信这项技术将极大地造福创作者社区并促进进一步创新。
我们邀请您深入了解:

UniRig 不仅仅是一种算法;它是下一代 3D 内容创作的基础性工具,使动画比以往任何时候都更容易实现、更高效、更多样化。

Advancing 3D generation to new heights

moving at the speed of creativity, achieving the depths of imagination.