AI 3D 생성이 모바일 3D 스캔으로 할 수 있는 일을 어떻게 확장하는가

두 가지 도구. 두 가지 역할.

오늘날 많은 크리에이터들의 3D 창작은 두 가지 출발점 중 하나에서 시작됩니다. 바로 아이디어, 혹은 현실 세계입니다.

첫 번째는 AI 생성입니다. Tripo 같은 도구를 사용하면 텍스트 프롬프트, 스케치, 또는 참고 이미지를 몇 초 만에 3D 모델로 변환할 수 있습니다. 빠르고 창의적이며, 스캔 장비나 별도의 기술적 설정이 필요하지 않습니다.

두 번째는 모바일 3D 스캔입니다. 예를 들어 KIRI Engine은 스마트폰만으로 실제 세계에 존재하는 오브젝트와 환경을 캡처하여, 정확한 실물 형상과 표면 텍스처, 재질 디테일을 그대로 보존합니다.

이 두 가지는 서로 경쟁하는 방식이 아닙니다. 각각 다른 문제를 해결합니다. 함께 사용하면 어느 한 도구만으로는 커버할 수 없는 더 넓은 창작 파이프라인을 소화할 수 있습니다.

모바일 3D 스캔이 잘하는 것

모바일 3D 스캔은 이미 존재하는 것을 포착합니다. 물리적 오브젝트의 실제 형상, 표면 텍스처, 빛이 재질과 상호작용하는 방식까지 담아냅니다. AI 생성도 이를 근사할 수는 있지만, 실제 정확도가 중요한 경우에는 완전히 대체할 수 없습니다. 정보 자체가 현실에서 오기 때문입니다.

KIRI Engine은 스캔 대상에 따라 세 가지 캡처 모드를 제공합니다.

• Photogrammetry는 수십 장에서 수백 장의 사진을 촬영해 정확한 형상과 컬러 맵을 재구성합니다. 표면 디테일과 텍스처가 뚜렷한 오브젝트에 가장 적합합니다.
• LiDAR는 지원되는 iPhone의 깊이 센서를 활용해 실제 스케일로 빠르게 공간을 스캔합니다. 특히 실내 공간이나 넓은 환경에 유용합니다. KIRI Engine에서는 LiDAR 스캔에 AI 보정을 적용해 표면 디테일을 향상시킬 수 있어, 공간 참조나 씬 기반 작업에 더욱 활용도가 높아집니다.
• **3D Gaussian Splatting (3DGS)**은 전통적인 mesh 형상 없이 오브젝트와 씬의 시각적 외관을 캡처합니다. 복잡한 재질, 유기적인 표면, 기존 photogrammetry로 깔끔하게 재구성하기 어려운 전체 환경에 유용합니다. KIRI Engine에는 내장 3DGS-to-Mesh 변환 기능도 포함되어 있어, 이후 작업에 폴리곤 모델이 필요한 경우 모바일에서 바로 splat 캡처를 mesh 에셋으로 변환할 수 있습니다.

결과물은 이후 창작 작업의 탄탄한 기반이 되는 고품질 3D 캡처입니다.

AI 생성이 스캔 워크플로우에 더하는 것

고품질 스캔은 강력한 실사 기반을 제공합니다. 하지만 다양한 후속 활용을 위해서는 더 가벼운 mesh, 새로운 재질 방향, 또는 씬을 완성할 추가 생성 에셋이 필요할 수 있습니다. 바로 이 지점에서 Tripo가 워크플로우를 확장합니다.

• Retopology는 스캔된 형상의 시각적 특징을 유지하면서 폴리곤 수를 크게 줄여, 실시간 워크플로우와 3D 툴에 적합한 깔끔한 Quad topology를 생성합니다.
• 텍스처 생성은 스캔된 에셋의 표면 재질을 교체하거나 변환하여, 동일한 형상에서 완전히 새로운 비주얼 방향을 열어줍니다.
• 에셋 생성은 스캔된 실제 환경에 바로 배치할 수 있는 새로운 3D 오브젝트와 캐릭터를 만들어냅니다.

이 각각의 기능은 캡처 이후 크리에이터가 스캔으로 할 수 있는 일을 넓혀줍니다.

워크플로우 1: 실제 조각상에서 게임용 에셋으로

실제 예시: KIRI Engine으로 스캔한 채색 피규어

디테일이 풍부한 피규어는 이 워크플로우를 테스트하기에 좋은 소재입니다. 원본 피규어는 옷 주름, 얼굴 특징, 역동적인 보행 포즈에 걸쳐 복잡한 표면 디테일을 갖고 있습니다. 수작업으로 모델링하면 몇 시간이 걸리지만, photogrammetry로는 잘 캡처되는 바로 그런 형상입니다.

Step 1: KIRI Engine으로 스캔하기

Photo Scan 모드를 사용해 다양한 각도와 높이에서 오브젝트를 촬영합니다. 이 크기의 피규어라면 전체 실루엣을 커버하는 60~80장의 사진으로 충분합니다. KIRI Engine이 자동으로 재구성을 처리하고, 형상과 텍스처 맵이 포함된 GLB 파일을 내보냅니다.

Step 2: 텍스처 생성으로 스타일 바꾸기

이번 테스트에서는 retopology 전에 텍스처 생성을 먼저 진행하는 것이 더 좋은 결과를 냈습니다. 스캔 형상이 온전히 유지된 상태에서 Tripo가 재질 방향을 해석할 때 더 많은 표면 정보를 활용할 수 있기 때문입니다. 폴리곤 수를 먼저 줄이면 텍스처 생성에 사용할 수 있는 표면 정보가 제한될 수 있습니다.

이를 고려해 "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style"라는 프롬프트를 사용했고, 스캔된 피규어가 스타일라이즈된 판타지 RPG 캐릭터 에셋으로 재해석되었습니다. 포즈와 비율은 실제 스캔에서, 비주얼 스타일은 Tripo에서 가져왔습니다.

Step 3: Tripo에서 Retopologize하기

비주얼 방향이 정해지면, 에셋의 폴리곤 수를 줄이기 위해 retopology를 진행합니다. 원본 스캔은 40,296개의 삼각형으로 구성되어 있었습니다. Retopology 후에는 동일한 에셋이 9,566개의 face와 Quad topology로 줄어들었습니다. 약 76% 감소하면서도 포즈, 비율, 전체 실루엣은 그대로 유지되었습니다.

하나의 실물. 한 번의 스캔. 이 워크플로우를 통해 실제 조각상이 처음부터 다시 만들지 않고도 가볍고 스타일라이즈된 게임용 에셋으로 탈바꿈할 수 있습니다.

워크플로우 2: 실제 인물과 AI 캐릭터가 같은 씬에 공존할 때

실제 예시: 3DGS로 캡처한 인물과 AI 생성 캐릭터의 결합

3D Gaussian Splatting의 가장 흥미로운 활용 중 하나는 실제 사람을 캡처하는 것입니다. 3DGS는 인물과 주변 환경을 한 번의 연속 촬영으로 함께 담아내는 데 특히 적합하며, 사실적인 조명, 의상 디테일, 공간적 맥락을 모두 한꺼번에 보존합니다.

Step 1: KIRI Engine 3D Gaussian Splatting으로 실제 인물 캡처하기

3D Gaussian Splatting으로 사람을 스캔하려면 오브젝트 스캔보다 조금 더 주의가 필요합니다. 촬영 중 피사체가 최대한 움직이지 않아야 합니다. 호흡이나 체중 이동 같은 작은 움직임도 재구성 결과에 블러를 일으킬 수 있습니다. 피사체에게 편안한 자세를 유지하고 촬영 내내 움직임을 최소화해 달라고 요청했습니다.

높은 각도, 눈높이, 낮은 각도의 세 가지 높이에서 피사체 주위를 돌며 촬영합니다. 이렇게 하면 알고리즘이 전체 인물을 정확하게 재구성하는 데 충분한 정보를 얻을 수 있습니다. KIRI Engine은 영상을 처리해 인물과 주변 환경이 모두 포함된 3DGS 씬을 생성하며, 촬영 장소의 실제 조명과 공간적 맥락을 그대로 보존합니다.

Step 2: Tripo로 캐릭터 생성하기

최종 결과물에 대한 더 높은 제어권을 위해, 먼저 Tripo의 text-to-image 생성으로 참고 이미지를 만든 뒤 그 이미지를 Tripo의 image-to-3D 워크플로우에 입력했습니다. text-to-3D는 빠른 아이디어 탐색에 유용하지만, 생성된 참고 이미지를 먼저 만들면 최종 비주얼 방향을 더 세밀하게 조정할 수 있었습니다.

완성된 캐릭터는 표준 3D mesh로 내보냈습니다. 플랫 셰이딩, 깔끔한 라인, 채도 높은 색상으로 이루어진 이 캐릭터의 비주얼 스타일은 사실적인 스캔 인물과 의도적으로 대비를 이룹니다.

Step 3: KIRI Engine의 3DGS 플러그인을 사용해 Blender에서 합치기

3DGS 씬은 .ply 파일로 내보냅니다. Blender로 불러오기 위해 KIRI Engine의 오픈소스 Blender 플러그인을 사용했으며, 이 플러그인은 3DGS 씬을 표준 3D 에셋과 나란히 네이티브 오브젝트로 불러옵니다. Tripo로 생성한 캐릭터는 표준 mesh로 임포트해 스캔된 인물 옆에 배치했습니다.

KIRI Engine의 Blender 플러그인은 실제 세계의 3DGS 캡처를 씬 오브젝트로 불러오고, Tripo로 생성한 캐릭터는 표준 3D mesh로 임포트됩니다. 이 둘이 합쳐져 동일한 Blender 작업 공간 안에서 실사와 AI가 혼합된 씬이 완성됩니다.

결과물은 3DGS로 캡처한 실제 인물과 AI로 생성한 스타일라이즈 캐릭터가 같은 공간에 공존하는 하나의 씬입니다. 이 씬은 게임 프로토타이핑, 컨셉 시각화, 버추얼 프로덕션 테스트, 또는 실사와 AI를 혼합한 스토리텔링 등 다양한 창작 방향의 출발점으로 활용할 수 있습니다.

스캔된 요소는 현실감과 공간적 맥락을 제공합니다. AI로 생성된 캐릭터는 물리적 세계에 존재하지 않는 콘텐츠를 더합니다. 이 둘이 함께, 실제 세계의 3DGS 캡처가 단순한 정적 스캔에 머물지 않고 더 넓은 창작 씬의 기반이 될 수 있음을 보여줍니다.

스캔은 현실 세계를 줍니다. AI 생성은 그 너머의 모든 것을 줍니다.

어느 도구도 다른 하나를 대체하지 않습니다. Tripo는 상상에서 무언가를 만들 때, 아직 존재하지 않는 에셋이 필요하고 속도와 창의적 유연성이 중요할 때 적합한 선택입니다. KIRI Engine은 현실에 대한 정확도가 중요할 때, 오브젝트나 환경이 이미 존재하고 발명이 아닌 캡처가 필요할 때 적합한 선택입니다.

두 도구를 함께 사용하면 순수한 상상에서 순수한 현실까지, 그리고 그 사이의 모든 것을 아우르는 3D 에셋 창작의 전 범위를 커버할 수 있습니다.

직접 워크플로우를 경험해 보세요. KIRI Engine으로 실제 사물을 캡처하고, Tripo로 창의적인 에셋을 생성하거나 변환하면서, 현실 기반 캡처와 AI 생성이 어떻게 함께 작동하는지 확인해 보세요.