Одна модель для ригінгу всіх: VAST/Tripo представляє UniRig для різноманітного автоматизованого 3D-ригінгу
Використовуючи авторегресійні моделі та нову схему токенізації, UniRig забезпечує передові результати для різноманітних персонажів і об’єктів, маючи потенціал усунути вузьке місце 3D-анімації.
Сфера створення 3D-контенту стрімко розвивається. Завдяки поєднанню складних традиційних робочих процесів і стрімкого поширення інструментів генерації на основі ШІ (зокрема нашого власного інструмента Tripo) попит на високоякісні 3D-ресурси зростає. Однак залишається критичне вузьке місце: рігінг. Перетворення статичної 3D-сітки на анімованого персонажа зі скелетом і вагами скінінгу залишається складним, тривалим і часто ручним процесом, який потребує значного досвіду.
Наявні автоматизовані рішення частково допомагають, але часто не відповідають вимогам. Методи на основі шаблонів чудово працюють у межах заздалегідь визначених структур (наприклад, стандартних двоногих персонажів), але не мають гнучкості, необхідної для величезного різноманіття моделей, які створюються сьогодні. Підходи без шаблонів адаптивніші, проте часто мають труднощі з генерацією топологічно коректних скелетів або потребують складної постобробки, що перешкоджає їхньому практичному застосуванню.
Сьогодні Tripo із задоволенням представляє UniRig — нову уніфіковану платформу для автоматичного скелетного ригінгу, створену для подолання цих обмежень. Як детально описано в нашій новій дослідницькій статті «Одна модель для ригінгу всіх: різноманітний скелетний ригінг за допомогою UniRig», UniRig — це потужна модель, здатна генерувати високоякісні скелетні риги для безпрецедентно широкого спектра 3D-моделей — від людей і тварин до складних вигаданих персонажів і навіть неорганічних структур.
Підхід UniRig: авторегресійне передбачення та нова токенізація
В основі UniRig лежить потужність великих авторегресійних моделей, подібних до тих, що забезпечують прогрес у генерації мови та зображень. Замість передбачення пікселів або слів UniRig передбачає структуру 3D-скелета, суглоб за суглобом. Цей послідовний процес передбачення є ключовим для забезпечення генерації топологічно коректних скелетів.
Критично важливим елементом, що забезпечує це, є наш метод токенізації дерева скелета. Представлення ієрархічної структури скелета зі складними взаємозалежностями між суглобами у вигляді лінійної послідовності, придатної для transformer, є нетривіальним завданням. Наша схема токенізації ефективно кодує:
- Координати суглобів: дискретизовані просторові розташування кісткових суглобів.
- Ієрархічну структуру: явні зв’язки між батьківськими та дочірніми елементами, що забезпечують коректні деревоподібні структури.
- Семантику кісток: спеціальні токени визначають типи кісток (наприклад, стандартні шаблонні кістки на кшталт Mixamo, динамічні пружинні кістки для симуляції волосся/одягу), що має вирішальне значення для подальших завдань і реалістичної анімації.
Ця оптимізована токенізація (що скорочує довжину послідовності приблизно на 30% порівняно з наївними підходами) дає змогу авторегресійній моделі (на основі архітектури OPT) ефективно вивчати закономірності, що лежать в основі скелетних структур, на основі геометрії вхідної сітки, обробленої shape encoder.
За межами скелета: точний скінінг і атрибути
Після передбачення коректного скелета UniRig використовує механізм Bone-Point Cross Attention для передбачення ваг скінінгу для кожної вершини. Цей модуль ефективно враховує складний вплив кожної кістки на навколишню поверхню сітки, поєднуючи геометричні ознаки сітки та скелета, а також геодезичну інформацію про відстань для покращеного просторового сприйняття.
Крім того, UniRig передбачає атрибути, специфічні для кісток (наприклад, жорсткість або вплив гравітації для пружинних кісток), що дає змогу створювати фізично правдоподібніші вторинні рухи безпосередньо на основі вивчених параметрів. Під час навчання їх оцінюють за допомогою диференційовної фізичної симуляції для підвищення реалістичності.
Rig-XL: забезпечення узагальнення за допомогою даних
Якість моделі залежить від якості її даних. Щоб навчити UniRig працювати в широкому спектрі випадків, ми створили Rig-XL — новий великомасштабний набір даних, що містить понад 14 000 різноманітних 3D-моделей із ригом. Отриманий і ретельно очищений із таких ресурсів, як Objaverse-XL, Rig-XL охоплює кілька категорій (двоногі, чотириногі, птахи, комахи, статичні об’єкти тощо) і забезпечує необхідні масштаб і різноманітність для навчання справді узагальнюваної моделі ригінгу. Для вдосконалення роботи з деталізованими персонажами в стилі аніме з пружинними кістками ми доповнили його набором даних VRoid.
Передові результати
UniRig істотно вдосконалює сучасний рівень автоматичного ригінгу:
- Точність: демонструє значне покращення порівняно з наявними академічними та комерційними методами: точність ригінгу зросла на 215% (передбачення суглобів), а точність руху — на 194% (деформація сітки під час анімації) на складних наборах даних.
- Універсальність: демонструє стабільну роботу в широкому спектрі категорій — від деталізованих персонажів і тварин до складних органічних і неорганічних форм, де попередні методи часто зазнавали невдачі.
- Надійність: генерує топологічно коректні скелети та правдоподібні ваги скінінгу, забезпечуючи вищу якість анімації порівняно з попередніми академічними методами та популярними комерційними інструментами.
- Ефективність: оптимізовані токенізація й архітектура моделі забезпечують практичний час інференсу (1–5 с).
Чому UniRig важливий
UniRig є важливим кроком до розв’язання проблеми вузького місця ригінгу в сучасних 3D-процесах. Завдяки швидкому, точному та універсальному автоматизованому рішенню він може:
- Прискорити виробництво: зменшити час і рівень експертизи, необхідні для ригінгу, звільнивши художників для творчих завдань.
- Уможливити нові робочі процеси: безперешкодно інтегруватися з результатами генерації 3D-моделей на основі ШІ, роблячи великі бібліотеки згенерованого контенту готовими до анімації.
- Підвищити інтерактивність: підтримувати вдосконалення за участю людини; користувачі можуть редагувати передбачений скелет (наприклад, додавати або видаляти кістки, змінювати топологію) і повторно генерувати риг, поєднуючи автоматизацію з художнім контролем.
- Демократизувати анімацію: знизити поріг входу у створення анімованого 3D-контенту.
Погляд у майбутнє: реліз із відкритим кодом
Відповідно до прагнення Tripo розвивати цю сферу, ми відкриваємо вихідний код UniRig. Ми вважаємо, що ця технологія може суттєво допомогти спільноті творців і сприяти подальшим інноваціям.
Запрошуємо вас дізнатися більше:
UniRig — це більше, ніж просто алгоритм; це фундаментальний компонент нового покоління створення 3D-контенту, який робить анімацію доступнішою, ефективнішою та універсальнішою, ніж будь-коли раніше.
