Un seul modèle pour tous les riguer : VAST/Tripo présente UniRig pour un rigging 3D automatisé et diversifié
En s'appuyant sur des modèles autoregressive et un nouveau schéma de tokenization, UniRig offre des performances de pointe sur une grande diversité de personnages et d'objets, prêt à faire sauter le goulot d'étranglement de l'animation 3D.
Le paysage de la création de contenu 3D est en pleine explosion. Portée à la fois par des workflows traditionnels sophistiqués et par l'essor rapide des outils de génération alimentés par l'IA (comme les nôtres chez Tripo), la demande en assets 3D de haute qualité est en forte hausse. Pourtant, un goulot d'étranglement critique persiste : le rigging. Transformer un mesh 3D statique en personnage animable avec un squelette et des poids de skinning reste un processus complexe, chronophage et souvent manuel, qui exige une expertise importante.
Les solutions automatisées existantes apportent un soulagement partiel, mais restent souvent insuffisantes. Les méthodes basées sur des templates excellent dans leurs structures prédéfinies (comme les bipèdes standards), mais manquent de flexibilité face à l'immense diversité des modèles créés aujourd'hui. Les approches sans template offrent davantage d'adaptabilité, mais peinent fréquemment à générer des squelettes topologiquement valides ou nécessitent un post-processing complexe, ce qui freine leur adoption en pratique.
Aujourd'hui, Tripo est ravi de présenter UniRig, un framework nouveau et unifié de rigging squelettique automatique conçu pour dépasser ces limites. Comme détaillé dans notre dernier article de recherche, "One Model to Rig Them All: Diverse Skeleton Rigging with UniRig", UniRig propose un modèle puissant capable de générer des rigs squelettiques de haute qualité pour une variété sans précédent de modèles 3D – des humains et des animaux jusqu'aux personnages fictionnels complexes et même aux structures inorganiques.
L'approche UniRig : prédiction autoregressive et nouvelle tokenization
Au cœur du système, UniRig exploite la puissance de grands modèles autoregressive, semblables à ceux qui font progresser la génération de langage et d'images. Au lieu de prédire des pixels ou des mots, UniRig prédit la structure d'un squelette 3D, articulation par articulation. Ce processus de prédiction séquentielle est essentiel pour garantir la génération de squelettes topologiquement valides.
Un élément de conception critique qui rend cela possible est notre méthode de Skeleton Tree Tokenization. Représenter une structure squelettique hiérarchique avec des interdépendances complexes entre articulations sous la forme d'une séquence linéaire adaptée à un transformer n'est pas trivial. Notre schéma de tokenization encode efficacement :
- Coordonnées des articulations : localisations spatiales discrétisées des articulations osseuses.
- Structure hiérarchique : relations parent-enfant explicites, garantissant des structures arborescentes valides.
- Sémantique des os : des tokens spéciaux identifient les types d'os (par ex., des os de template standards comme Mixamo, des spring bones dynamiques pour la simulation des cheveux/tissus), ce qui est crucial pour les tâches aval et une animation réaliste.
Cette tokenization optimisée (réduisant la longueur de séquence d'environ 30 % par rapport aux approches naïves) permet au modèle autoregressive (basé sur l'architecture OPT) d'apprendre efficacement les motifs sous-jacents des structures squelettiques, conditionné par la géométrie du mesh d'entrée traitée par un shape encoder.
Au-delà du squelette : skinning et attributs précis
Une fois qu'un squelette valide est prédit, UniRig emploie un mécanisme de Bone-Point Cross Attention pour prédire les poids de skinning par vertex. Ce module capture efficacement l'influence complexe de chaque os sur la surface du mesh environnant, en incorporant des caractéristiques géométriques du mesh et du squelette, enrichies de façon cruciale par des informations de distance géodésique pour une meilleure perception spatiale.
En outre, UniRig prédit des attributs spécifiques aux os (comme la rigidité ou l'influence de la gravité pour les spring bones), permettant un mouvement secondaire plus physiquement plausible directement à partir des paramètres appris, évalué via une simulation physique différentiable pendant l'entraînement afin d'améliorer le réalisme.
Rig-XL : alimenter la généralisation avec les données
Un modèle ne vaut que par ses données. Pour entraîner UniRig à une applicabilité large, nous avons constitué Rig-XL, un nouveau dataset à grande échelle contenant plus de 14 000 modèles 3D riggés et diversifiés. Dérivé et méticuleusement nettoyé à partir de ressources comme Objaverse-XL, Rig-XL couvre de multiples catégories (bipèdes, quadrupèdes, oiseaux, insectes, objets statiques, etc.) et fournit l'échelle ainsi que la variété nécessaires pour entraîner un modèle de rigging véritablement généralisable. Nous l'avons complété par un dataset VRoid afin d'affiner les performances sur des personnages détaillés de style anime avec des spring bones.
Des performances de pointe
UniRig fait progresser de manière significative l'état de l'art en rigging automatique :
- Précision : obtient des améliorations spectaculaires par rapport aux méthodes académiques et commerciales existantes, avec une amélioration de 215 % de la précision du rigging (prédiction des articulations) et une amélioration de 194 % de la précision du mouvement (déformation du mesh sous animation) sur des datasets exigeants.
- Polyvalence : démontre des performances robustes sur un large éventail de catégories – personnages détaillés, animaux, formes organiques et inorganiques complexes – là où les méthodes précédentes échouaient souvent.
- Robustesse : génère des squelettes topologiquement corrects et des poids de skinning plausibles, conduisant à une qualité d'animation supérieure à celle des méthodes académiques antérieures et des outils commerciaux populaires.
- Efficacité : la tokenization optimisée et l'architecture du modèle conduisent à des temps d'inférence pratiques (1-5 s).
Pourquoi UniRig est important
UniRig représente une avancée significative vers la résolution du goulot d'étranglement du rigging dans les pipelines 3D modernes. En fournissant une solution automatisée rapide, précise et polyvalente, il a le potentiel de :
- Accélérer la production : réduire le temps et l'expertise nécessaires au rigging, afin de libérer les artistes pour des tâches créatives.
- Permettre de nouveaux workflows : s'intégrer de manière fluide à la sortie de la génération de modèles 3D pilotée par l'IA, rendant de vastes bibliothèques de contenu généré facilement animables.
- Améliorer l'interactivité : prendre en charge un raffinement avec humain dans la boucle ; les utilisateurs peuvent modifier le squelette prédit (par ex., ajouter/supprimer des os, ajuster la topologie) et régénérer le rig, en combinant automatisation et contrôle artistique.
- Démocratiser l'animation : abaisser la barrière à l'entrée pour la création de contenu 3D animé.
La suite : publication en open source
Conformément à l'engagement de Tripo pour faire avancer le domaine, nous mettons UniRig en open source. Nous pensons que cette technologie peut grandement bénéficier à la communauté des créateurs et favoriser de nouvelles innovations.
Nous vous invitons à aller plus loin :
UniRig est plus qu'un simple algorithme ; c'est une brique fondamentale pour la prochaine génération de création de contenu 3D, rendant l'animation plus accessible, plus efficace et plus polyvalente que jamais.
