모든 모델을 리깅하는 단 하나의 모델: VAST/Tripo, 다양하고 자동화된 3D 리깅을 위한 UniRig 소개

자기회귀 모델과 새로운 토큰화 방식을 활용한 UniRig은 다양한 캐릭터와 객체에 걸쳐 최첨단 성능을 제공하며, 3D 애니메이션의 병목 현상을 해소할 준비가 되어 있습니다.

3D 콘텐츠 제작 환경이 폭발적으로 성장하고 있습니다. 정교한 전통적인 워크플로우와 Tripo의 AI 기반 생성 도구의 급속한 발전이 맞물려 고품질 3D 애셋에 대한 수요가 급증하고 있습니다. 그러나 여전히 중요한 병목 현상이 남아있는데, 바로 리깅입니다. 정적인 3D 메시를 스켈레톤과 스키닝 웨이트를 가진 애니메이션 가능한 캐릭터로 변환하는 것은 여전히 복잡하고 시간 소모적이며, 상당한 전문 지식을 요구하는 수동적인 과정입니다.
기존의 자동화 솔루션들은 부분적인 해결책을 제공하지만, 종종 기대에 미치지 못합니다. 템플릿 기반 방식은 미리 정의된 구조(예: 표준 이족보행 캐릭터) 내에서는 뛰어나지만, 오늘날 생성되는 엄청나게 다양한 모델에 대한 유연성이 부족합니다. 템플릿 없는 접근 방식은 더 많은 적응성을 제공하지만, 위상적으로 유효한 스켈레톤을 생성하는 데 어려움을 겪거나 복잡한 후처리 과정을 요구하여 실제 적용을 방해하는 경우가 많습니다.
오늘, Tripo는 이러한 한계를 극복하기 위해 설계된 새롭고 통합된 자동 스켈레톤 리깅 프레임워크인 UniRig을 소개하게 되어 기쁩니다. 최신 연구 논문 "One Model to Rig Them All: Diverse Skeleton Rigging with UniRig"에서 자세히 설명된 바와 같이, UniRig은 사람과 동물부터 복잡한 가상 캐릭터, 심지어 무기물 구조에 이르기까지 전례 없는 다양한 3D 모델에 대해 고품질 스켈레톤 리깅을 생성할 수 있는 강력한 모델을 제시합니다.

UniRig 접근 방식: 자기회귀 예측 및 새로운 토큰화

핵심적으로 UniRig은 언어 및 이미지 생성의 발전을 이끄는 대규모 자기회귀 모델의 힘을 활용합니다. UniRig은 픽셀이나 단어를 예측하는 대신, 3D 스켈레톤의 구조를 조인트 단위로 예측합니다. 이러한 순차적 예측 프로세스는 위상적으로 유효한 스켈레톤 생성을 보장하는 핵심입니다.
이를 가능하게 하는 중요한 설계는 스켈레톤 트리 토큰화(Skeleton Tree Tokenization) 방법입니다. 복잡한 조인트 상호 의존성을 가진 계층적 스켈레톤 구조를 트랜스포머에 적합한 선형 시퀀스로 표현하는 것은 쉽지 않습니다. 당사의 토큰화 방식은 다음을 효율적으로 인코딩합니다.

1. 조인트 좌표: 뼈 조인트의 이산화된 공간 위치.
2. 계층적 구조: 명시적인 부모-자식 관계를 통해 유효한 트리 구조를 보장합니다.
3. 뼈 의미론: 뼈 유형(예: Mixamo와 같은 표준 템플릿 뼈, 머리카락/천 시뮬레이션을 위한 동적 스프링 뼈)을 식별하는 특수 토큰으로, 다운스트림 작업 및 사실적인 애니메이션에 필수적입니다.

이 최적화된 토큰화(단순한 접근 방식에 비해 시퀀스 길이를 약 30% 단축)는 자기회귀 모델(OPT 아키텍처 기반)이 셰이프 인코더에 의해 처리된 입력 메시 지오메트리에 따라 스켈레톤 구조의 기본 패턴을 효과적으로 학습할 수 있도록 합니다.

스켈레톤을 넘어선 정확한 스키닝 및 속성

유효한 스켈레톤이 예측되면 UniRig은 뼈-점 교차 어텐션(Bone-Point Cross Attention) 메커니즘을 사용하여 정점별 스키닝 웨이트를 예측합니다. 이 모듈은 각 뼈가 주변 메시 표면에 미치는 복잡한 영향을 효과적으로 포착하며, 메시와 스켈레톤의 기하학적 특징을 통합하고, 특히 공간 인식을 향상시키기 위해 측지 거리 정보를 보강합니다.
또한 UniRig은 뼈별 속성(예: 스프링 뼈의 강성 또는 중력 영향)을 예측하여, 학습된 매개변수로부터 직접적으로 물리적으로 더욱 그럴듯한 보조 움직임을 가능하게 하며, 향상된 사실감을 위해 훈련 중 미분 가능한 물리 시뮬레이션을 통해 평가됩니다.

Rig-XL: 데이터로 일반화 촉진

모델은 데이터만큼 좋습니다. UniRig이 폭넓게 적용될 수 있도록 훈련하기 위해, 우리는 14,000개 이상의 다양하고 리깅된 3D 모델을 포함하는 새로운 대규모 데이터셋인 Rig-XL을 큐레이션했습니다. Objaverse-XL과 같은 리소스에서 파생되고 꼼꼼하게 정리된 Rig-XL은 여러 범주(이족보행, 사족보행, 새, 곤충, 정적 객체 등)를 아우르며, 진정으로 일반화 가능한 리깅 모델을 훈련하는 데 필요한 규모와 다양성을 제공합니다. 우리는 스프링 뼈가 있는 상세한 애니메이션 스타일 캐릭터의 성능을 개선하기 위해 VRoid 데이터셋을 보완했습니다.

최첨단 성능

UniRig은 자동 리깅 분야의 최첨단 기술을 크게 발전시킵니다.

• 정확도: 기존의 학술 및 상업적 방법론에 비해 획기적인 개선을 이루었으며, 어려운 데이터셋에서 리깅 정확도(조인트 예측)에서 215% 향상과 모션 정확도(애니메이션 시 메시 변형)에서 194% 향상을 보였습니다.
• 다용성: 상세한 캐릭터, 동물, 복잡한 유기적 및 무기적 형태 등 기존 방법이 종종 실패했던 광범위한 범주에서 강력한 성능을 보여줍니다.
• 견고성: 위상적으로 건전한 스켈레톤과 그럴듯한 스키닝 웨이트를 생성하여 기존 학술 방법 및 인기 있는 상업용 도구에 비해 우수한 애니메이션 품질을 제공합니다.
• 효율성: 최적화된 토큰화 및 모델 아키텍처는 실용적인 추론 시간(1-5초)을 제공합니다.

UniRig이 중요한 이유

UniRig은 현대 3D 파이프라인에서 리깅 병목 현상을 해결하는 데 중요한 진전을 나타냅니다. 빠르고 정확하며 다재다능한 자동화 솔루션을 제공함으로써 다음과 같은 잠재력을 가집니다.

1. 생산 가속화: 리깅에 필요한 시간과 전문 지식을 줄여 아티스트가 창의적인 작업에 집중할 수 있도록 합니다.
2. 새로운 워크플로우 가능: AI 기반 3D 모델 생성의 결과물과 원활하게 통합되어 방대한 양의 생성된 콘텐츠를 즉시 애니메이션화할 수 있습니다.
3. 상호작용성 향상: 휴먼-인-더-루프(human-in-the-loop) 개선을 지원합니다. 사용자는 예측된 스켈레톤을 편집(예: 뼈 추가/제거, 토폴로지 조정)하고 리깅을 재생성하여 자동화와 예술적 제어를 결합할 수 있습니다.
4. 애니메이션 민주화: 애니메이션 3D 콘텐츠 제작의 진입 장벽을 낮춥니다.

앞으로의 계획: 오픈 소스 공개

Tripo는 분야 발전에 대한 약속에 따라 UniRig을 오픈 소스로 공개합니다. 이 기술이 크리에이터 커뮤니티에 크게 도움이 되고 추가 혁신을 촉진할 수 있다고 믿습니다.
자세한 내용은 다음을 참조하십시오.

• 코드 살펴보기
• 모델 사용해보기

UniRig은 단순한 알고리즘을 넘어, 차세대 3D 콘텐츠 제작을 위한 기반 요소로서 애니메이션을 그 어느 때보다 접근 가능하고 효율적이며 다재다능하게 만들 것입니다.