Hepsini Riglemek İçin Tek Bir Model: VAST/Tripo, Çeşitli ve Otomatik 3D Rigging için UniRig'i Tanıtıyor
Autoregressive modellerden ve yeni bir tokenization şemasından yararlanan UniRig, çeşitli karakterler ve nesneler genelinde state-of-the-art performans sunarak 3D animasyondaki darboğazı aşmaya hazırlanıyor.
3D içerik üretiminin kapsamı hızla büyüyor. Hem gelişmiş geleneksel iş akışları hem de AI destekli üretim araçlarının (Tripo'daki kendi araçlarımız gibi) hızlı yükselişiyle beslenen yüksek kaliteli 3D assetlere olan talep artıyor. Ancak kritik bir darboğaz hâlâ varlığını sürdürüyor: rigging. Statik bir 3D mesh'i iskelet ve skinning weight'lere sahip, animasyon yapılabilir bir karaktere dönüştürmek; önemli düzeyde uzmanlık gerektiren, karmaşık, zaman alıcı ve çoğu zaman manuel bir süreç olmaya devam ediyor.
Mevcut otomatik çözümler kısmi bir rahatlama sağlasa da çoğu zaman yetersiz kalıyor. Template tabanlı yöntemler, önceden tanımlanmış yapıları içinde (standart bipeds gibi) başarılı olsa da bugün üretilen modellerin büyük çeşitliliği karşısında esneklikten yoksun kalıyor. Template-free yaklaşımlar daha fazla uyarlanabilirlik sunsa da çoğu zaman topologically valid iskeletler üretmekte zorlanıyor veya karmaşık post-processing gerektiriyor; bu da pratik benimsenmeyi engelliyor.
Bugün Tripo olarak, bu sınırlamaların üstesinden gelmek üzere tasarlanmış, otomatik skeletal rigging için yeni ve birleşik bir çerçeve olan UniRig'i tanıtmaktan heyecan duyuyoruz. Son araştırma makalemiz "One Model to Rig Them All: Diverse Skeleton Rigging with UniRig" içinde ayrıntılı olarak açıklandığı üzere UniRig, insanlardan ve hayvanlardan karmaşık kurgusal karakterlere ve hatta inorganik yapılara kadar benzeri görülmemiş çeşitlilikte 3D modeller için yüksek kaliteli skeletal rig'ler üretebilen güçlü bir model sunuyor.
UniRig Yaklaşımı: Autoregressive Tahmin ve Yeni Tokenization
Özünde UniRig, dil ve image generation alanındaki ilerlemeleri yönlendirenlere benzer şekilde büyük autoregressive modellerin gücünden yararlanır. UniRig, piksel veya kelime tahmin etmek yerine, 3D bir iskeletin yapısını eklem eklem tahmin eder. Bu sıralı tahmin süreci, topologically valid skeletons üretilmesini sağlamanın anahtarıdır.
Bunu mümkün kılan kritik tasarım unsuru Skeleton Tree Tokenization yöntemimizdir. Karmaşık eklem karşılıklı bağımlılıklarına sahip hiyerarşik bir iskelet yapısını, bir transformer için uygun doğrusal bir dizi olarak temsil etmek kolay değildir. Tokenization şemamız şu unsurları verimli şekilde kodlar:
- Eklem Koordinatları: Kemik eklemlerinin ayrıklaştırılmış uzamsal konumları.
- Hiyerarşik Yapı: Geçerli ağaç yapıları sağlayan açık ebeveyn-çocuk ilişkileri.
- Kemik Semantiği: Özel token'lar kemik türlerini tanımlar (ör. Mixamo gibi standart template kemikleri, saç/kumaş simülasyonu için dynamic spring bones); bunlar downstream task'ler ve gerçekçi animasyon için kritik öneme sahiptir.
Bu optimize edilmiş tokenization (naive yaklaşımlara kıyasla dizi uzunluğunu yaklaşık %30 azaltır), autoregressive modelin (OPT architecture tabanlı) shape encoder tarafından işlenen giriş mesh geometrisine koşullu olarak, skeletal yapıların altında yatan örüntüleri etkili biçimde öğrenmesini sağlar.
İskeletin Ötesinde: Doğru Skinning ve Attributes
Geçerli bir iskelet tahmin edildikten sonra UniRig, vertex başına skinning weight'leri tahmin etmek için bir Bone-Point Cross Attention mekanizması kullanır. Bu modül, çevredeki mesh yüzeyi üzerinde her kemiğin karmaşık etkisini etkili biçimde yakalar; mesh ve iskeletten gelen geometrik özellikleri kullanır ve daha iyi uzamsal farkındalık için geodesic distance bilgisiyle kritik biçimde güçlendirilir.
Buna ek olarak UniRig, kemiklere özgü attributes'ları da (spring bones için stiffness veya gravity influence gibi) tahmin eder; bu da eğitilmiş parametrelerden doğrudan daha fiziksel olarak makul secondary motion elde edilmesini sağlar. Bu süreç, eğitimin sırasında differentiable physics simulation ile değerlendirilerek gerçekçilik artırılır.
Rig-XL: Verilerle Generalization'ı Güçlendirmek
Bir model ancak verisi kadar iyidir. UniRig'i geniş uygulanabilirlik için eğitmek amacıyla, 14.000'den fazla çeşitli riglenmiş 3D model içeren yeni büyük ölçekli bir veri kümesi olan Rig-XL'i oluşturduk. Objaverse-XL gibi kaynaklardan türetilip titizlikle temizlenen Rig-XL; birden çok kategoriyi (bipeds, quadrupeds, kuşlar, böcekler, statik nesneler vb.) kapsar ve gerçekten genellenebilir bir rigging modelini eğitmek için gerekli ölçek ve çeşitliliği sağlar. Bunu, spring bones içeren ayrıntılı anime tarzı karakterlerde performansı iyileştirmek için bir VRoid veri kümesiyle tamamladık.
State-of-the-Art Performans
UniRig, otomatik rigging alanındaki state-of-the-art seviyeyi önemli ölçüde ileri taşıyor:
- Doğruluk: Mevcut akademik ve ticari yöntemlere kıyasla çarpıcı iyileşmeler elde ederek, zorlu veri kümelerinde rigging doğruluğunda %215 iyileşme (eklem tahmini) ve motion doğruluğunda %194 iyileşme (animasyon altındaki mesh deformasyonu) gösterir.
- Çok Yönlülük: Önceki yöntemlerin çoğu zaman başarısız olduğu ayrıntılı karakterler, hayvanlar, karmaşık organik ve inorganik şekiller gibi geniş bir kategori yelpazesinde sağlam performans sergiler.
- Sağlamlık: Topolojik açıdan sağlam iskeletler ve makul skinning weight'leri üretir; bu da önceki akademik yöntemlere ve popüler ticari araçlara kıyasla daha üstün animasyon kalitesi sağlar.
- Verimlilik: Optimize edilmiş tokenization ve model architecture, pratik inference süreleri sağlar (1-5 sn).
UniRig Neden Önemli
UniRig, modern 3D pipeline'larındaki rigging darboğazını çözmeye yönelik önemli bir adımı temsil ediyor. Hızlı, doğru ve çok yönlü otomatik bir çözüm sunarak şunları mümkün kılma potansiyeline sahip:
- Üretimi Hızlandırmak: Rigging için gereken süreyi ve uzmanlığı azaltarak sanatçıları yaratıcı görevlere daha fazla odaklanabilecek şekilde özgürleştirmek.
- Yeni İş Akışlarını Mümkün Kılmak: AI odaklı 3D model generation çıktılarıyla sorunsuz şekilde entegre olarak, üretilmiş geniş içerik kütüphanelerini kolayca animasyonlanabilir hâle getirmek.
- Etkileşimi Geliştirmek: Human-in-the-loop iyileştirmeyi desteklemek; kullanıcılar tahmin edilen iskeleti düzenleyebilir (ör. kemik ekleme/çıkarma, topolojiyi ayarlama) ve rig'i yeniden üretebilir, böylece otomasyonu sanatsal kontrolle birleştirebilir.
- Animasyonu Demokratikleştirmek: Animasyonlu 3D içerik üretimine giriş engelini düşürmek.
İleriye Bakış: Open Source Yayını
Tripo'nun alanı ileri taşıma taahhüdü doğrultusunda, UniRig'i open-source olarak yayımlıyoruz. Bu teknolojinin üretici topluluğuna önemli ölçüde fayda sağlayabileceğine ve daha fazla inovasyonu teşvik edebileceğine inanıyoruz.
Sizi daha derine inmeye davet ediyoruz:
UniRig yalnızca bir algoritmadan fazlasıdır; 3D içerik üretiminin yeni nesli için temel bir yapı taşıdır ve animasyonu her zamankinden daha erişilebilir, verimli ve çok yönlü hâle getirir.
