HoloPart 소개: 모든 3D 형상에 대해 완전하고 편집 가능한 파트 생성
우리는 3D 형상을 구성 요소별로 이해하여 강력한 편집, 애니메이션 및 생성 워크플로우를 가능하게 하는 새로운 생성 모델인 HoloPart를 오픈소스로 공개합니다.
온라인에서 다운로드했거나, 스캔으로 캡처했거나, AI로 생성된 3D 모델을 편집해 본 적이 있나요? 종종 이러한 모델은 단일 '덩어리'의 형상으로 되어 있어 의자 다리나 캐릭터 안경과 같은 개별 구성 요소를 수정하거나 애니메이션을 적용하거나 재질을 변경하기가 매우 어렵습니다. 기존의 3D 파트 분할 기술은 다른 파트에 속하는 _가시적인 표면 패치_를 식별할 수 있지만, 파손되거나 불완전한 조각을 남깁니다(그림 1a). 이는 실제 콘텐츠 제작에서 유용성을 근본적으로 제한합니다.
오늘, 우리는 이 문제를 정면으로 다루는 새로운 접근 방식이자 오픈소스 프로젝트인 HoloPart를 소개하게 되어 기쁩니다. HoloPart는 3D 형상을 가시적인 패치뿐만 아니라, 가려진 형상까지 추론하여 완전하고, 의미론적으로 의미 있는 기본 파트들로 분해하는 3D 파트 비가시적 분할(3D Part Amodal Segmentation) 작업을 소개합니다(그림 1b).
HoloPart의 핵심에는 우리가 개발한 새로운 확산 기반 생성 모델이 있습니다. 우리는 오늘 코드, 사전 학습된 HoloPart 모델, 그리고 대화형 데모를 공개하며, 커뮤니티가 이 작업을 기반으로 구축하도록 초대합니다.
개발자들은 Hugging Face에서 시험해 볼 수 있습니다.
문제점: 파손된 파트가 3D 제작을 저해합니다
사진 측량 스캔, 생성 모델, 심지어 많은 사람이 만든 에셋조차도 내부 파트 구조가 부족한 경우가 많습니다. SAMPart3D와 같은 방법은 3D 모델의 _표면_을 스마트하게 분할할 수 있지만, 객체 "내부"를 볼 수는 없습니다. 이러한 방법으로 반지를 분할하면 보석과 밴드의 보이는 외부 표면은 얻지만, 교차하거나 가려진 전체 보석 모양이나 전체 반지 밴드는 얻지 못합니다.
이러한 한계는 다음의 주요 병목 현상입니다.
- 형상 편집: 자동차 모델의 바퀴가 본체와 융합되어 있거나 불완전한 경우, 바퀴만 쉽게 크기를 조절할 수 없습니다.
- 애니메이션: 파트를 리깅하고 애니메이션화하려면 파트가 완전한 객체여야 합니다.
- 재질 할당: 개별 재질을 적용하려면 깔끔하고 완전한 파트 경계가 필요합니다.
- 절차적 생성 및 에셋 리믹싱: 변형을 만들거나 파트를 결합하려면 잘 정의되고 완전한 구성 요소가 필요합니다.
우리의 해결책: HoloPart로 전체 파트 보기
비가시적 인식(부분적으로 가려져 있어도 전체 객체를 인식하는 능력)의 개념에서 영감을 받은 HoloPart 프로젝트는 3D 파트 비가시적 분할을 소개합니다. 우리는 실용적인 2단계 접근 방식을 통해 이를 달성합니다.
- 초기 분할: 먼저 기존의 최첨단 방법(예: SAMPart3D)을 활용하여 초기 표면 패치(불완전한 파트)를 얻습니다.
- HoloPart를 사용한 파트 완성: 여기서 마법이 일어납니다. 우리는 불완전한 파트 세그먼트를 전체 형상의 컨텍스트와 함께 새로운 HoloPart 모델에 공급합니다. 강력한 확산 트랜스포머 아키텍처를 기반으로 구축된 HoloPart는 해당 파트에 대한 _완전하고 그럴듯한 3D 형상_을 생성합니다.
HoloPart 작동 방식:
HoloPart는 단순히 "구멍을 채우는" 것이 아닙니다. TripoSG 파운데이션 모델의 강력한 생성 사전 지식을 기반으로 구축된 이 모델은 대규모 데이터셋(예: Objaverse)에 대한 광범위한 사전 학습과 파트-전체 데이터에 대한 특수 미세 조정을 통해 학습된 3D 형상에 대한 깊은 이해를 활용합니다. HoloPart는 TripoSG의 강력한 확산 트랜스포머 아키텍처를 파트 완성이라는 특정 작업에 맞게 조정합니다. 핵심 혁신은 이중 어텐션 메커니즘에 있습니다.
- 지역 어텐션(Local Attention): _입력 표면 패치_의 미세한 형상 디테일에 집중하여 완성된 파트가 가시적인 형상과 완벽하게 통합되도록 합니다.
- 컨텍스트 인식 어텐션(Context-Aware Attention): _전체 형상_과 파트가 그 안에 어디에 위치하는지 살펴봅니다. 이 중요한 단계는 완성된 파트가 전반적으로 합리적인지 확인합니다. 즉, 비율, 의미론적 의미 및 전체 형상 일관성을 유지합니다.
이를 통해 HoloPart는 복잡한 파트나 상당한 가려짐의 경우에도 숨겨진 형상을 지능적으로 재구성하면서 객체의 전체 구조를 존중할 수 있습니다.
결과: 완전한 파트, 즉시 사용 가능
우리는 HoloPart 프로젝트 내에서 정의된 이 새로운 작업을 평가하기 위해 ABO 및 PartObjaverse-Tiny 데이터셋을 사용하여 새로운 벤치마크를 설정했습니다. 우리의 실험은 HoloPart가 이 까다로운 파트 완성 작업에 적용될 때 기존의 최첨단 형상 완성 방법을 크게 능가한다는 것을 보여줍니다.
정성적으로 보면 그 차이는 명확합니다. 다른 방법들이 복잡한 구조에서 종종 실패하거나 일관성 없는 결과를 생성하는 반면, HoloPart는 원본 형상과 아름답게 일치하는 완전하고 고품질의 파트를 지속적으로 생성합니다.
다운스트림 애플리케이션 잠금 해제
완전한 파트를 생성함으로써 HoloPart는 이전에는 자동으로 달성하기 어렵거나 불가능했던 다양한 강력한 애플리케이션을 가능하게 합니다.
- 직관적인 편집: 완전한 파트(그림 1의 반지 예시 또는 그림 4a의 자동차 편집)를 쉽게 잡고, 크기를 조절하고, 이동하거나, 교체할 수 있습니다.
- 손쉬운 재질 할당: 전체 구성 요소에 텍스처 또는 재질을 깔끔하게 적용할 수 있습니다(그림 1, 그림 4c).
- 애니메이션 준비 에셋: 리깅 및 애니메이션에 적합한 파트를 생성합니다.
- 더 스마트한 형상 처리: 일관성 있는 파트에서 작업함으로써 더 견고한 리메싱 및 기타 형상 작업을 가능하게 합니다(그림 4b).
- 파트 인식 생성: 이 작업은 파트 수준에서 3D 형상을 생성하거나 조작할 수 있는 미래의 생성 모델을 위한 기반을 제공합니다.
- 기하학적 초해상도: HoloPart는 높은 토큰 수로 파트를 표현함으로써 파트 디테일을 향상시킬 잠재력도 보여줍니다(그림 5).
HoloPart 시작하기
우리는 HoloPart 프로젝트에서 탐구하는 3D 파트 비가시적 분할이 더 직관적이고 강력한 3D 콘텐츠 제작을 위한 중요한 단계라고 믿습니다. 우리는 연구자와 개발자에게 힘을 실어주기 위해 HoloPart를 오픈소스 라이선스하에 공개합니다.
커뮤니티가 이 도구들로 무엇을 만들지 기대됩니다. 뛰어들어 실험하고 여러분의 의견을 알려주세요!
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.