Un unico modello per gestirli tutti: VAST/Tripo presenta UniRig per un rigging 3D automatizzato e diversificato
Sfruttando modelli autoregressivi e un nuovo schema di tokenizzazione, UniRig offre prestazioni state-of-the-art su personaggi e oggetti diversi, pronto a superare il collo di bottiglia dell'animazione 3D.
Il panorama della creazione di contenuti 3D è in piena espansione. Alimentata sia da sofisticati workflow tradizionali sia dalla rapida ascesa degli strumenti di generazione basati su AI (come quelli di Tripo), la domanda di asset 3D di alta qualità è in forte crescita. Eppure, permane un collo di bottiglia cruciale: il rigging. Trasformare una mesh 3D statica in un personaggio animabile con uno scheletro e pesi di skinning rimane un processo complesso, dispendioso in termini di tempo e spesso manuale, che richiede competenze significative.
Le soluzioni automatizzate esistenti offrono un sollievo parziale, ma spesso non sono all'altezza. I metodi basati su template eccellono all'interno delle loro strutture predefinite (come i bipedi standard), ma non hanno la flessibilità necessaria per l'enorme diversità di modelli creati oggi. Gli approcci senza template offrono maggiore adattabilità, ma spesso faticano a generare scheletri topologicamente validi o richiedono un complesso post-processing, ostacolandone l'adozione pratica.
Oggi, Tripo è entusiasta di presentare UniRig, un nuovo framework unificato per il rigging scheletrico automatico progettato per superare queste limitazioni. Come descritto nel nostro più recente paper di ricerca "One Model to Rig Them All: Diverse Skeleton Rigging with UniRig", UniRig presenta un potente modello capace di generare rig scheletrici di alta qualità per una varietà senza precedenti di modelli 3D – da esseri umani e animali a complessi personaggi di fantasia e persino strutture inorganiche.
L'approccio UniRig: previsione autoregressiva e nuova tokenizzazione
Nel suo nucleo, UniRig sfrutta la potenza dei grandi modelli autoregressivi, simili a quelli che guidano i progressi nella generazione di linguaggio e immagini. Invece di prevedere pixel o parole, UniRig prevede la struttura di uno scheletro 3D, articolazione dopo articolazione. Questo processo di previsione sequenziale è fondamentale per garantire la generazione di scheletri topologicamente validi.
Un elemento di design cruciale che lo rende possibile è il nostro metodo di Skeleton Tree Tokenization. Rappresentare una struttura scheletrica gerarchica con complesse interdipendenze tra articolazioni come una sequenza lineare adatta a un transformer non è banale. Il nostro schema di tokenizzazione codifica in modo efficiente:
- Coordinate delle articolazioni: posizioni spaziali discretizzate delle articolazioni ossee.
- Struttura gerarchica: relazioni esplicite genitore-figlio, che garantiscono strutture ad albero valide.
- Semantica delle ossa: token speciali identificano i tipi di osso (ad es. ossa di template standard come Mixamo, dynamic spring bones per la simulazione di capelli/tessuti), fondamentali per i task downstream e per un'animazione realistica.
Questa tokenizzazione ottimizzata (che riduce la lunghezza della sequenza di circa il 30% rispetto agli approcci ingenui) consente al modello autoregressivo (basato sull'architettura OPT) di apprendere efficacemente i pattern sottostanti delle strutture scheletriche, condizionati dalla geometria della mesh in input elaborata da uno shape encoder.
Oltre lo scheletro: skinning accurato e attributi
Una volta previsto uno scheletro valido, UniRig impiega un meccanismo di Bone-Point Cross Attention per prevedere i pesi di skinning per vertice. Questo modulo cattura efficacemente la complessa influenza di ciascun osso sulla superficie della mesh circostante, incorporando caratteristiche geometriche della mesh e dello scheletro, arricchite in modo cruciale da informazioni sulla distanza geodetica per una migliore consapevolezza spaziale.
Inoltre, UniRig prevede attributi specifici per osso (come rigidità o influenza della gravità per le spring bones), consentendo un moto secondario fisicamente più plausibile direttamente dai parametri appresi, valutato tramite simulazione fisica differenziabile durante l'addestramento per un maggiore realismo.
Rig-XL: alimentare la generalizzazione con i dati
Un modello è valido solo quanto lo sono i suoi dati. Per addestrare UniRig a un'ampia applicabilità, abbiamo curato Rig-XL, un nuovo dataset su larga scala contenente oltre 14.000 modelli 3D diversificati e riggati. Derivato e meticolosamente ripulito da risorse come Objaverse-XL, Rig-XL copre molteplici categorie (bipedi, quadrupedi, uccelli, insetti, oggetti statici, ecc.) e fornisce la scala e la varietà necessarie per addestrare un modello di rigging realmente generalizzabile. Abbiamo integrato questo con un dataset VRoid per affinare le prestazioni su personaggi dettagliati in stile anime con spring bones.
Prestazioni state-of-the-art
UniRig fa avanzare significativamente lo stato dell'arte nel rigging automatico:
- Accuratezza: ottiene miglioramenti drastici rispetto ai metodi accademici e commerciali esistenti, mostrando un miglioramento del 215% nell'accuratezza del rigging (previsione delle articolazioni) e un miglioramento del 194% nell'accuratezza del movimento (deformazione della mesh durante l'animazione) su dataset impegnativi.
- Versatilità: dimostra prestazioni solide su un ampio spettro di categorie – personaggi dettagliati, animali, forme organiche e inorganiche complesse – dove i metodi precedenti spesso fallivano.
- Robustezza: genera scheletri topologicamente corretti e pesi di skinning plausibili, portando a una qualità di animazione superiore rispetto ai precedenti metodi accademici e ai popolari strumenti commerciali.
- Efficienza: la tokenizzazione ottimizzata e l'architettura del modello portano a tempi di inferenza pratici (1-5 s).
Perché UniRig è importante
UniRig rappresenta un passo significativo verso la risoluzione del collo di bottiglia del rigging nelle moderne pipeline 3D. Offrendo una soluzione automatizzata rapida, accurata e versatile, ha il potenziale di:
- Accelerare la produzione: ridurre il tempo e le competenze necessarie per il rigging, liberando gli artisti per compiti creativi.
- Abilitare nuovi workflow: integrarsi perfettamente con l'output della generazione di modelli 3D guidata da AI, rendendo facilmente animabili vaste librerie di contenuti generati.
- Migliorare l'interattività: supportare il perfezionamento human-in-the-loop; gli utenti possono modificare lo scheletro previsto (ad es. aggiungere/rimuovere ossa, regolare la topologia) e rigenerare il rig, fondendo automazione e controllo artistico.
- Democratizzare l'animazione: abbassare la barriera d'ingresso alla creazione di contenuti 3D animati.
Guardando al futuro: rilascio Open Source
In linea con l'impegno di Tripo nel far progredire il settore, stiamo rendendo UniRig open-source. Crediamo che questa tecnologia possa apportare benefici significativi alla community dei creator e favorire ulteriore innovazione.
Ti invitiamo ad approfondire:
UniRig è più di un semplice algoritmo; è un elemento fondamentale per la prossima generazione della creazione di contenuti 3D, rendendo l'animazione più accessibile, efficiente e versatile che mai.
