Tripo Doodle (TripoSG Scribble): 스케치와 텍스트로 3D 아이디어를 즉시 구현
SIGGRAPH Asia 2024의 "Real-Time LIVE!"에서 VAST (Tripo)는 간단한 2D 스케치와 텍스트 프롬프트를 상세한 3D 모델로 실시간 변환하는 대화형 도구인 Tripo Doodle (내부 명칭 TripoSG Scribble)을 공개했습니다. 기존의 3D 모델링은 특히 초기 형태를 잡는 단계에서 높은 학습 곡선과 상당한 시간 투자를 필요로 합니다. Tripo Doodle은 이러한 장벽을 극적으로 낮춰, 숙련된 전문가와 초보자 모두에게 전례 없는 용이함으로 3D 개념을 시각화하고 반복 작업할 수 있도록 지원하는 직관적이고 매우 빠른 워크플로우를 제공합니다. 라이브 시연에서 보여주었듯이, 사용자들은 복잡한 도구 사용보다는 아이디어에 창의적인 에너지를 집중하며 말 그대로 '낙서'를 통해 3D 에셋을 만들 수 있습니다.
VAST (Tripo)는 이 기술의 핵심 구성 요소와 통찰력을 오픈 소스로 공개하게 되어 매우 기쁩니다.
Tripo Doodle이란 무엇인가요? SIGGRAPH 무대에서 여러분의 손끝으로
Tripo Doodle은 3D 생성 프로세스를 급진적으로 단순화하고 가속화하도록 설계된 새로운 인터페이스입니다. 이를 통해 사용자는 다음을 수행할 수 있습니다.
직관적인 스케치: 캔버스에 간단한 2D 모양과 선을 그립니다.
텍스트 프롬프트 추가: 텍스트를 통해 의미론적 맥락이나 특정 속성을 제공합니다.
즉시 생성: 이러한 입력에 따라 상세한 3D 모델이 실시간으로 나타나고 업데이트되는 것을 확인합니다.
SIGGRAPH Asia 2024 Real-Time LIVE!에서 첫선을 보인 Tripo Doodle은 3D 모델링이 낙서만큼 유동적이고 접근하기 쉬운 미래를 보여주며 관객들을 사로잡았습니다. 특히 초기 에셋 블로킹 단계에서 3D 워크플로우의 높은 학습 곡선과 시간 소모적인 특성을 직접적으로 해결하여, 제작자들이 순수하게 자신의 아이디어에 집중할 수 있도록 지원합니다.
핵심 기술: TripoSG를 확장하여 실시간 상호작용 구현
Tripo Doodle은 완전히 새로 만들어진 것이 아니라, VAST의 최첨단 TripoSG 파운데이션 모델의 힘을 활용하고 이를 실시간 다중 모달 상호작용을 위한 특정 혁신 기술로 확장합니다.
TripoSG 기본 모델: 기본 엔진은 이미지-3D 형상 생성 모델인 TripoSG입니다. 이 모델은 컨디셔닝 입력(일반적으로 기본 모델의 이미지)에서 직접 고품질의 3D mesh를 생성할 수 있습니다. 맞춤형 Variational Autoencoder (VAE)로 관리되는 정밀한 Signed Distance Function (SDF) 표현을 사용하여 큐레이션된 데이터로 학습되었습니다.
다중 모달 컨디셔닝 (스케치 + 텍스트): Tripo Doodle은 스케치와 텍스트 입력을 동시에 이해하고 통합하는 메커니즘을 통합하여 TripoSG를 향상시킵니다.
스케치 가이드: 2D 드로잉은 핵심 모양, 구조 및 포즈를 정의하는 강력한 기하학적 제약을 제공합니다.
텍스트 가이드: 자연어 프롬프트는 의미론적 해석을 유도하여 객체 유형, 스타일 및 특정 기능(예: "dragon"을 추가하여 일반 몬스터 스케치를 변형)에 영향을 줍니다.
실시간 최적화 (예: Distillation): 대화형 "낙서" 경험에 필수적인 거의 즉각적인 생성 속도를 달성하기 위해 CFG distillation과 같은 기술이 사용됩니다. 더 작은 최적화된 모델은 더 큰 TripoSG 모델의 출력을 복제하도록 학습되어 지속적인 사용자 입력에 기반한 실시간 업데이트에 적합한 빠른 추론을 가능하게 합니다.
아이디어를 현실로 구현
SIGGRAPH Asia 2024 Real-Time LIVE! 시연은 Tripo Doodle의 강력한 성능을 입증했습니다.
손쉬운 생성: 식물, 테이블, 반지 또는 몬스터의 간단한 스케치가 즉시 3D 객체로 변환되었습니다.
실시간 반복: 스케치가 그려지고, 지워지고, 다듬어지고, 텍스트 프롬프트가 추가되거나 변경됨에 따라 3D 모델이 동적으로 업데이트되었습니다(예: 일반 몬스터를 "거북이 몬스터" 또는 날개가 추가된 "용 몬스터"로 변환).
창의적인 탐색: "Randomize" 기능은 동일한 스케치/텍스트 입력에 대한 다양한 유효한 3D 해석을 빠르게 순환할 수 있게 해주었습니다.
접근성: 관객들이 30초 이내에 몬스터를 만드는 경쟁을 펼친 "Doodle 1v1" 세그먼트는 처음 사용하는 사람들에게도 이 도구가 얼마나 직관적이고 빠른지 강조했습니다. "토마토 몬스터"와 "애벌레 몬스터"와 같은 예시는 몇 초 만에 달성할 수 있는 창의적이고 때로는 놀라운 결과물을 보여주었습니다.
더 자세히 알아보기
VAST는 개방형 협력을 통해 이 분야를 발전시키는 데 전념하고 있습니다. TripoSG Scribble과 TripoSG는 모두 오픈 소스입니다.
저희는 연구 및 개발 커뮤니티가 TripoSG와 Tripo Doodle의 개념을 탐구하고, 이를 기반으로 발전시키며, 3D AI의 미래를 함께 만들어 나가기를 바랍니다.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Tripo Doodle (TripoSG Scribble): 스케치와 텍스트로 3D 아이디어를 즉시 구현
SIGGRAPH Asia 2024의 "Real-Time LIVE!"에서 VAST (Tripo)는 간단한 2D 스케치와 텍스트 프롬프트를 상세한 3D 모델로 실시간 변환하는 대화형 도구인 Tripo Doodle (내부 명칭 TripoSG Scribble)을 공개했습니다. 기존의 3D 모델링은 특히 초기 형태를 잡는 단계에서 높은 학습 곡선과 상당한 시간 투자를 필요로 합니다. Tripo Doodle은 이러한 장벽을 극적으로 낮춰, 숙련된 전문가와 초보자 모두에게 전례 없는 용이함으로 3D 개념을 시각화하고 반복 작업할 수 있도록 지원하는 직관적이고 매우 빠른 워크플로우를 제공합니다. 라이브 시연에서 보여주었듯이, 사용자들은 복잡한 도구 사용보다는 아이디어에 창의적인 에너지를 집중하며 말 그대로 '낙서'를 통해 3D 에셋을 만들 수 있습니다.
VAST (Tripo)는 이 기술의 핵심 구성 요소와 통찰력을 오픈 소스로 공개하게 되어 매우 기쁩니다.
Tripo Doodle이란 무엇인가요? SIGGRAPH 무대에서 여러분의 손끝으로
Tripo Doodle은 3D 생성 프로세스를 급진적으로 단순화하고 가속화하도록 설계된 새로운 인터페이스입니다. 이를 통해 사용자는 다음을 수행할 수 있습니다.
직관적인 스케치: 캔버스에 간단한 2D 모양과 선을 그립니다.
텍스트 프롬프트 추가: 텍스트를 통해 의미론적 맥락이나 특정 속성을 제공합니다.
즉시 생성: 이러한 입력에 따라 상세한 3D 모델이 실시간으로 나타나고 업데이트되는 것을 확인합니다.
SIGGRAPH Asia 2024 Real-Time LIVE!에서 첫선을 보인 Tripo Doodle은 3D 모델링이 낙서만큼 유동적이고 접근하기 쉬운 미래를 보여주며 관객들을 사로잡았습니다. 특히 초기 에셋 블로킹 단계에서 3D 워크플로우의 높은 학습 곡선과 시간 소모적인 특성을 직접적으로 해결하여, 제작자들이 순수하게 자신의 아이디어에 집중할 수 있도록 지원합니다.
핵심 기술: TripoSG를 확장하여 실시간 상호작용 구현
Tripo Doodle은 완전히 새로 만들어진 것이 아니라, VAST의 최첨단 TripoSG 파운데이션 모델의 힘을 활용하고 이를 실시간 다중 모달 상호작용을 위한 특정 혁신 기술로 확장합니다.
TripoSG 기본 모델: 기본 엔진은 이미지-3D 형상 생성 모델인 TripoSG입니다. 이 모델은 컨디셔닝 입력(일반적으로 기본 모델의 이미지)에서 직접 고품질의 3D mesh를 생성할 수 있습니다. 맞춤형 Variational Autoencoder (VAE)로 관리되는 정밀한 Signed Distance Function (SDF) 표현을 사용하여 큐레이션된 데이터로 학습되었습니다.
다중 모달 컨디셔닝 (스케치 + 텍스트): Tripo Doodle은 스케치와 텍스트 입력을 동시에 이해하고 통합하는 메커니즘을 통합하여 TripoSG를 향상시킵니다.
스케치 가이드: 2D 드로잉은 핵심 모양, 구조 및 포즈를 정의하는 강력한 기하학적 제약을 제공합니다.
텍스트 가이드: 자연어 프롬프트는 의미론적 해석을 유도하여 객체 유형, 스타일 및 특정 기능(예: "dragon"을 추가하여 일반 몬스터 스케치를 변형)에 영향을 줍니다.
실시간 최적화 (예: Distillation): 대화형 "낙서" 경험에 필수적인 거의 즉각적인 생성 속도를 달성하기 위해 CFG distillation과 같은 기술이 사용됩니다. 더 작은 최적화된 모델은 더 큰 TripoSG 모델의 출력을 복제하도록 학습되어 지속적인 사용자 입력에 기반한 실시간 업데이트에 적합한 빠른 추론을 가능하게 합니다.
아이디어를 현실로 구현
SIGGRAPH Asia 2024 Real-Time LIVE! 시연은 Tripo Doodle의 강력한 성능을 입증했습니다.
손쉬운 생성: 식물, 테이블, 반지 또는 몬스터의 간단한 스케치가 즉시 3D 객체로 변환되었습니다.
실시간 반복: 스케치가 그려지고, 지워지고, 다듬어지고, 텍스트 프롬프트가 추가되거나 변경됨에 따라 3D 모델이 동적으로 업데이트되었습니다(예: 일반 몬스터를 "거북이 몬스터" 또는 날개가 추가된 "용 몬스터"로 변환).
창의적인 탐색: "Randomize" 기능은 동일한 스케치/텍스트 입력에 대한 다양한 유효한 3D 해석을 빠르게 순환할 수 있게 해주었습니다.
접근성: 관객들이 30초 이내에 몬스터를 만드는 경쟁을 펼친 "Doodle 1v1" 세그먼트는 처음 사용하는 사람들에게도 이 도구가 얼마나 직관적이고 빠른지 강조했습니다. "토마토 몬스터"와 "애벌레 몬스터"와 같은 예시는 몇 초 만에 달성할 수 있는 창의적이고 때로는 놀라운 결과물을 보여주었습니다.
더 자세히 알아보기
VAST는 개방형 협력을 통해 이 분야를 발전시키는 데 전념하고 있습니다. TripoSG Scribble과 TripoSG는 모두 오픈 소스입니다.
