Ein Modell, um sie alle zu riggen: VAST/Tripo stellt UniRig für vielfältiges, automatisiertes 3D-Rigging vor
Durch den Einsatz autoregressiver Modelle und eines neuartigen Tokenisierungsschemas liefert UniRig State-of-the-Art-Leistung für vielfältige Charaktere und Objekte und ist bereit, den Flaschenhals der 3D-Animation zu durchbrechen.
Die Landschaft der 3D-Content-Erstellung explodiert geradezu. Angetrieben sowohl von ausgereiften traditionellen Workflows als auch vom rasanten Aufstieg KI-gestützter Generierungstools (wie unseren eigenen bei Tripo) steigt die Nachfrage nach hochwertigen 3D-Assets stark an. Dennoch bleibt ein kritischer Flaschenhals bestehen: Rigging. Die Umwandlung eines statischen 3D-Meshes in einen animierbaren Charakter mit Skelett und Skinning-Gewichten ist nach wie vor ein komplexer, zeitaufwendiger und oft manueller Prozess, der erhebliche Fachkenntnisse erfordert.
Bestehende automatisierte Lösungen bieten teilweise Entlastung, bleiben jedoch oft hinter den Erwartungen zurück. Template-basierte Methoden sind innerhalb ihrer vordefinierten Strukturen (wie Standard-Bipeds) hervorragend, es fehlt ihnen jedoch die Flexibilität für die enorme Vielfalt an Modellen, die heute erstellt werden. Template-freie Ansätze bieten mehr Anpassungsfähigkeit, haben jedoch häufig Schwierigkeiten, topologisch valide Skelette zu erzeugen, oder erfordern komplexes Post-Processing, was die praktische Einführung erschwert.
Heute freut sich Tripo, UniRig vorzustellen, ein neuartiges, einheitliches Framework für automatisches Skeletal Rigging, das entwickelt wurde, um diese Einschränkungen zu überwinden. Wie in unserem neuesten Research Paper "One Model to Rig Them All: Diverse Skeleton Rigging with UniRig" beschrieben, präsentiert UniRig ein leistungsstarkes Modell, das hochwertige Skeletal Rigs für eine beispiellose Vielfalt von 3D-Modellen erzeugen kann – von Menschen und Tieren bis hin zu komplexen fiktionalen Charakteren und sogar anorganischen Strukturen.
Der UniRig-Ansatz: Autoregressive Vorhersage und neuartige Tokenisierung
Im Kern nutzt UniRig die Leistungsfähigkeit großer autoregressiver Modelle, ähnlich denen, die Fortschritte bei Sprach- und Bildgenerierung vorantreiben. Anstatt Pixel oder Wörter vorherzusagen, sagt UniRig die Struktur eines 3D-Skeletts Gelenk für Gelenk voraus. Dieser sequenzielle Vorhersageprozess ist der Schlüssel, um die Erzeugung topologisch valider Skelette sicherzustellen.
Ein entscheidendes Design, das dies ermöglicht, ist unsere Methode der Skeleton Tree Tokenization. Eine hierarchische Skelettstruktur mit komplexen Abhängigkeiten zwischen den Gelenken als lineare Sequenz darzustellen, die für einen Transformer geeignet ist, ist nicht trivial. Unser Tokenisierungsschema kodiert effizient:
- Gelenkkoordinaten: Diskretisierte räumliche Positionen von Knochengelenken.
- Hierarchische Struktur: Explizite Parent-Child-Beziehungen, die gültige Baumstrukturen sicherstellen.
- Knochensemantik: Spezielle Tokens identifizieren Knochentypen (z. B. Standard-Template-Knochen wie Mixamo, dynamische Spring Bones für Haar-/Stoffsimulation), was für nachgelagerte Aufgaben und realistische Animation entscheidend ist.
Diese optimierte Tokenisierung (Reduzierung der Sequenzlänge um ~30 % im Vergleich zu naiven Ansätzen) ermöglicht es dem autoregressiven Modell (basierend auf der OPT-Architektur), die zugrunde liegenden Muster von Skelettstrukturen effektiv zu lernen, konditioniert auf die Eingabe-Mesh-Geometrie, die von einem Shape Encoder verarbeitet wird.
Mehr als nur das Skelett: Präzises Skinning und Attribute
Sobald ein valides Skelett vorhergesagt wurde, verwendet UniRig einen Bone-Point Cross Attention-Mechanismus, um Skinning-Gewichte pro Vertex vorherzusagen. Dieses Modul erfasst effektiv den komplexen Einfluss jedes Knochens auf die umgebende Mesh-Oberfläche, unter Einbeziehung geometrischer Merkmale aus Mesh und Skelett, entscheidend erweitert durch geodätische Distanzinformationen für ein verbessertes räumliches Verständnis.
Darüber hinaus sagt UniRig knochenspezifische Attribute voraus (wie Steifigkeit oder Gravitationseinfluss für Spring Bones), was physikalisch plausiblere Sekundärbewegungen direkt aus den gelernten Parametern ermöglicht, die während des Trainings über differenzierbare Physiksimulation zur Verbesserung des Realismus bewertet werden.
Rig-XL: Generalisierung mit Daten antreiben
Ein Modell ist nur so gut wie seine Daten. Um UniRig für eine breite Anwendbarkeit zu trainieren, haben wir Rig-XL kuratiert, einen neuen groß angelegten Datensatz mit über 14.000 vielfältigen, geriggten 3D-Modellen. Abgeleitet und sorgfältig bereinigt aus Ressourcen wie Objaverse-XL umfasst Rig-XL mehrere Kategorien (Bipeds, Quadrupeds, Vögel, Insekten, statische Objekte usw.) und bietet den notwendigen Umfang und die Vielfalt, um ein wirklich generalisierbares Rigging-Modell zu trainieren. Ergänzt wurde dies durch einen VRoid-Datensatz, um die Leistung bei detaillierten Charakteren im Anime-Stil mit Spring Bones zu verfeinern.
State-of-the-Art-Leistung
UniRig bringt den State of the Art im automatischen Rigging deutlich voran:
- Genauigkeit: Erzielt dramatische Verbesserungen gegenüber bestehenden akademischen und kommerziellen Methoden und zeigt eine Verbesserung der Rigging-Genauigkeit um 215 % (Gelenkvorhersage) sowie eine Verbesserung der Bewegungsgenauigkeit um 194 % (Mesh-Deformation unter Animation) auf anspruchsvollen Datensätzen.
- Vielseitigkeit: Zeigt robuste Leistung über ein breites Spektrum von Kategorien hinweg – detaillierte Charaktere, Tiere, komplexe organische und anorganische Formen –, bei denen frühere Methoden oft versagten.
- Robustheit: Erzeugt topologisch saubere Skelette und plausible Skinning-Gewichte, was im Vergleich zu früheren akademischen Methoden und beliebten kommerziellen Tools zu überlegener Animationsqualität führt.
- Effizienz: Die optimierte Tokenisierung und Modellarchitektur führen zu praktischen Inference-Zeiten (1–5 s).
Warum UniRig wichtig ist
UniRig stellt einen bedeutenden Schritt zur Lösung des Rigging-Flaschenhalses in modernen 3D-Pipelines dar. Durch die Bereitstellung einer schnellen, präzisen und vielseitigen automatisierten Lösung hat es das Potenzial:
- Produktion zu beschleunigen: Den Zeit- und Fachkenntnisaufwand für Rigging zu reduzieren und Künstlern mehr Freiraum für kreative Aufgaben zu geben.
- Neue Workflows zu ermöglichen: Sich nahtlos in die Ausgabe KI-gesteuerter 3D-Modellgenerierung zu integrieren und große Bibliotheken generierter Inhalte unmittelbar animierbar zu machen.
- Interaktivität zu verbessern: Human-in-the-loop-Verfeinerung zu unterstützen; Nutzer können das vorhergesagte Skelett bearbeiten (z. B. Knochen hinzufügen/entfernen, Topologie anpassen) und das Rig neu erzeugen, wodurch Automatisierung mit künstlerischer Kontrolle kombiniert wird.
- Animation zu demokratisieren: Die Einstiegshürde für die Erstellung animierter 3D-Inhalte zu senken.
Ausblick: Open-Source-Veröffentlichung
Im Einklang mit Tripos Engagement, das Feld voranzubringen, werden wir UniRig als Open Source veröffentlichen. Wir glauben, dass diese Technologie der Creator-Community erheblich zugutekommen und weitere Innovation fördern kann.
Wir laden Sie ein, tiefer einzutauchen:
UniRig ist mehr als nur ein Algorithmus; es ist ein grundlegender Baustein für die nächste Generation der 3D-Content-Erstellung, der Animation zugänglicher, effizienter und vielseitiger macht als je zuvor.
