Одна модель для всех ригов: VAST/Tripo представляет UniRig для разнообразного автоматизированного 3D-риггинга

Используя авторегрессионные модели и новую схему токенизации, UniRig демонстрирует передовую производительность для разнообразных персонажей и объектов, призванную устранить узкое место в 3D-анимации.

Ландшафт создания 3D-контента стремительно развивается. Подпитываемый как сложными традиционными рабочими процессами, так и быстрым ростом инструментов генерации на основе ИИ (таких как наши собственные в Tripo), спрос на высококачественные 3D-активы растет. Однако сохраняется критическое узкое место: риггинг. Превращение статической 3D-сетки в анимируемого персонажа со скелетом и весами скиннинга остается сложным, трудоемким и часто ручным процессом, требующим значительного опыта.
Существующие автоматизированные решения дают частичное облегчение, но часто не справляются. Методы, основанные на шаблонах, отлично работают в рамках своих предопределенных структур (например, стандартных двуногих), но им не хватает гибкости для того огромного разнообразия моделей, которые создаются сегодня. Бесшаблонные подходы предлагают большую адаптивность, но часто сталкиваются с трудностями при генерации топологически корректных скелетов или требуют сложной постобработки, что препятствует практическому применению.
Сегодня Tripo с радостью представляет UniRig, новую унифицированную платформу для автоматического скелетного риггинга, разработанную для преодоления этих ограничений. Как подробно описано в нашей последней исследовательской работе "One Model to Rig Them All: Diverse Skeleton Rigging with UniRig", UniRig представляет собой мощную модель, способную генерировать высококачественные скелетные риги для беспрецедентного разнообразия 3D-моделей — от людей и животных до сложных вымышленных персонажей и даже неорганических структур.

Подход UniRig: авторегрессионное предсказание и новая токенизация

По своей сути UniRig использует мощь больших авторегрессионных моделей, подобных тем, что лежат в основе достижений в генерации языка и изображений. Вместо предсказания пикселей или слов UniRig предсказывает структуру 3D-скелета, сустав за суставом. Этот последовательный процесс предсказания является ключом к обеспечению генерации топологически корректных скелетов.
Критическим аспектом, обеспечивающим это, является наш метод токенизации дерева скелета. Представление иерархической структуры скелета со сложными взаимозависимостями суставов в виде линейной последовательности, подходящей для трансформера, является нетривиальной задачей. Наша схема токенизации эффективно кодирует:

1. Координаты суставов: Дискретизированные пространственные положения костных суставов.
2. Иерархическая структура: Явные отношения родитель-потомок, обеспечивающие корректные древовидные структуры.
3. Семантика костей: Специальные токены идентифицируют типы костей (например, стандартные шаблонные кости, как в Mixamo, динамические пружинные кости для симуляции волос/ткани), что крайне важно для последующих задач и реалистичной анимации.

Эта оптимизированная токенизация (сокращающая длину последовательности примерно на 30% по сравнению с наивными подходами) позволяет авторегрессионной модели (основанной на архитектуре OPT) эффективно изучать основные закономерности скелетных структур, обусловленные входной геометрией mesh, обработанной кодировщиком формы.

За пределами скелета: точный скиннинг и атрибуты

После предсказания корректного скелета UniRig использует механизм кросс-внимания "кость-точка" (Bone-Point Cross Attention) для предсказания весов скиннинга для каждой вершины. Этот модуль эффективно захватывает сложное влияние каждой кости на окружающую поверхность mesh, включая геометрические особенности mesh и скелета, существенно дополненные информацией о геодезическом расстоянии для улучшения пространственного восприятия.
Кроме того, UniRig предсказывает атрибуты, специфичные для костей (такие как жесткость или влияние гравитации для пружинных костей), что позволяет получать более физически правдоподобное вторичное движение непосредственно из изученных параметров, оцениваемых с помощью дифференцируемой физической симуляции во время обучения для повышения реалистичности.

Rig-XL: Расширение обобщающей способности с помощью данных

Модель хороша настолько, насколько хороши ее данные. Для обучения UniRig широкой применимости мы собрали Rig-XL, новый крупномасштабный набор данных, содержащий более 14 000 разнообразных, ригнутых 3D-моделей. Созданный и тщательно очищенный из таких ресурсов, как Objaverse-XL, Rig-XL охватывает множество категорий (двуногие, четвероногие, птицы, насекомые, статичные объекты и т.д.) и обеспечивает необходимый масштаб и разнообразие для обучения действительно обобщающей модели риггинга. Мы дополнили это набором данных VRoid для улучшения производительности на детализированных персонажах в стиле аниме с пружинными костями.

Передовая производительность

UniRig значительно продвигает передовые достижения в области автоматического риггинга:

• Точность: Достигает значительных улучшений по сравнению с существующими академическими и коммерческими методами, показывая улучшение точности риггинга на 215% (предсказание суставов) и улучшение точности движения на 194% (деформация mesh при анимации) на сложных наборах данных.
• Универсальность: Демонстрирует надежную производительность в широком спектре категорий — детализированные персонажи, животные, сложные органические и неорганические формы — где предыдущие методы часто терпели неудачу.
• Надежность: Генерирует топологически корректные скелеты и правдоподобные веса скиннинга, что приводит к превосходному качеству анимации по сравнению с предыдущими академическими методами и популярными коммерческими инструментами.
• Эффективность: Оптимизированная токенизация и архитектура модели приводят к практическому времени инференции (1-5 секунд).

Почему UniRig важен

UniRig представляет собой значительный шаг к решению проблемы риггинга в современных 3D-пайплайнах. Предоставляя быстрое, точное и универсальное автоматизированное решение, он потенциально может:

1. Ускорить производство: Сократить время и требуемый опыт для риггинга, освобождая художников для творческих задач.
2. Включить новые рабочие процессы: Бесшовно интегрироваться с выходом генерации 3D-моделей на основе ИИ, делая обширные библиотеки сгенерированного контента легко анимируемыми.
3. Повысить интерактивность: Поддерживать доработку с участием человека; пользователи могут редактировать предсказанный скелет (например, добавлять/удалять кости, регулировать топологию) и регенерировать риг, сочетая автоматизацию с художественным контролем.
4. Демократизировать анимацию: Снизить порог входа для создания анимированного 3D-контента.

Взгляд в будущее: Открытый исходный код

В соответствии с обязательством Tripo по развитию этой области, мы открываем исходный код UniRig. Мы верим, что эта технология может значительно принести пользу сообществу создателей и способствовать дальнейшим инновациям.
Приглашаем вас углубиться:

• Изучить код
• Попробовать модель

UniRig — это больше, чем просто алгоритм; это фундаментальная часть для следующего поколения создания 3D-контента, делающая анимацию более доступной, эффективной и универсальной, чем когда-либо прежде.