Як AI 3D Generation розширює можливості Mobile 3D Scans
Два інструменти. Два різні завдання.
Для багатьох творців сьогодні створення 3D часто починається з одного з двох джерел: ідеї або реального світу.
Перше - це AI generation. Такі інструменти, як Tripo, дають змогу перетворити текстовий prompt, ескіз або референсне зображення на 3D-модель за лічені секунди. Це швидко, креативно й не потребує обладнання для сканування чи технічного налаштування.
Друге - це mobile 3D scanning. KIRI Engine, наприклад, захоплює об'єкти та середовища, які вже існують у реальному світі, зберігаючи їхню точну геометрію реального світу, текстуру поверхні та деталізацію матеріалів, використовуючи лише smartphone.
Це не конкуруючі підходи. Вони розв'язують різні завдання. Разом вони охоплюють більшу частину творчого pipeline, ніж будь-який із цих інструментів окремо.
У чому сильні сторони Mobile 3D Scanning
Mobile 3D scanning захоплює те, що вже існує: реальну форму фізичного об'єкта, його фактичну текстуру поверхні, те, як світло взаємодіє з його матеріалами. Це те, що AI generation може наблизити, але не може повністю замінити, коли важлива точність реального світу, адже ця інформація походить із самої реальності.
KIRI Engine пропонує три режими захоплення залежно від того, що ви скануєте:
- Photogrammetry захоплює від десятків до сотень фотографій і реконструює точну геометрію та color maps. Найкраще підходить для об'єктів із чіткими деталями поверхні та текстурою.
- LiDAR використовує датчик глибини на підтримуваних iPhone для швидкого просторового сканування з реальним масштабом, особливо для кімнат і більших просторів. У KIRI Engine LiDAR scans також можна покращувати за допомогою AI, щоб підвищити деталізацію поверхні, роблячи їх кориснішими як просторові референси або основи сцени.
- 3D Gaussian Splatting (3DGS) захоплює візуальний вигляд об'єктів і сцен без початку з традиційної mesh geometry. Це може бути корисно для складних матеріалів, органічних поверхонь і повних середовищ, де традиційну photogrammetry може бути складніше чисто реконструювати. KIRI Engine також містить вбудоване перетворення 3DGS-to-Mesh, що дає змогу творцям перетворювати splat captures на mesh assets на mobile, коли їм потрібні polygonal models для подальших workflow.
У результаті виходить високоточне 3D-захоплення, яке слугує міцною основою для подальшої творчої роботи.
Що AI Generation додає до процесу сканування
Високоточні скани забезпечують сильну основу з реального світу. Для різних подальших сценаріїв використання творцям усе ще можуть бути потрібні легші mesh, нові напрямки матеріалів або додаткові згенеровані assets, щоб завершити сцену. Саме тут Tripo розширює workflow:
- Retopology значно зменшує кількість полігонів, зберігаючи при цьому візуальну впізнаваність відсканованої геометрії, створюючи чисту Quad topology, придатну для real-time workflow та 3D tools.
- Texture generation замінює або трансформує матеріал поверхні відсканованого asset, відкриваючи зовсім нові візуальні напрями на основі тієї самої геометрії.
- Asset generation створює нові 3D-об'єкти та персонажів, які можна безпосередньо розміщувати у відсканованих середовищах реального світу.
Кожна з цих можливостей розширює те, що творці можуть робити зі сканом після захоплення.
Workflow 1: Від скульптури з реального світу до asset, дружнього до game
Реальний приклад: розфарбована фігурка, відсканована за допомогою KIRI Engine
Деталізована фігурка є хорошим тестовим прикладом для цього workflow. Оригінальний об'єкт має складну деталізацію поверхні на складках одягу, рисах обличчя та в динамічній позі кроку. Саме той тип геометрії, який вручну моделювався б годинами, але добре захоплюється за допомогою photogrammetry.
Крок 1: Сканування за допомогою KIRI Engine
Використовуючи режим Photo Scan, захопіть об'єкт із кількох кутів і висот. Для фігурки такого розміру зазвичай достатньо 60-80 фотографій, що охоплюють увесь силует. KIRI Engine автоматично обробляє реконструкцію та експортує GLB-файл зі збереженими геометрією і texture maps.
Крок 2: Рестайлінг за допомогою Texture Generation
У цьому тесті ми виявили, що запуск texture generation перед retopology дав кращі результати. Коли повна геометрія скану залишається недоторканою, Tripo має більше інформації про поверхню для роботи під час інтерпретації напряму матеріалу. Попереднє зменшення кількості полігонів може обмежити частину інформації про поверхню, доступної для texture generation.
З огляду на це, використовуючи prompt "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style", відскановану фігурку було переосмислено як stylized fantasy RPG-style character asset. Поза й пропорції були взяті зі скану реального світу. Візуальний стиль надійшов від Tripo.
Крок 3: Retopologize у Tripo
Коли візуальний напрям уже визначено, asset потім проходить retopology для зменшення кількості полігонів. Оригінальний скан мав 40,296 triangles. Після retopology той самий asset мав 9,566 faces із Quad topology, тобто приблизно на 76% менше, при цьому збереглися поза, пропорції та загальний силует.
Один фізичний об'єкт. Один скан. У цьому workflow скульптура з реального світу може перетворитися на легший stylized game-friendly asset без ручного перебудовування з нуля.
Workflow 2: Коли реальна людина й AI-персонаж перебувають в одній сцені
Реальний приклад: людина, захоплена за допомогою 3DGS, у поєднанні з AI-generated character
Одне з найпереконливіших застосувань 3D Gaussian Splatting - це захоплення реальних людей. 3DGS особливо добре підходить для захоплення людини разом із навколишнім середовищем за один безперервний прохід, зберігаючи реалістичне освітлення, деталізацію одягу та просторовий контекст одночасно.
Крок 1: Захопіть реальну людину за допомогою KIRI Engine 3D Gaussian Splatting
Сканування людини за допомогою 3D Gaussian Splatting потребує трохи більшої уважності, ніж сканування об'єкта. Під час захоплення суб'єкт має залишатися якомога нерухомішим; навіть невеликі рухи, як-от дихання чи зміщення ваги, можуть спричинити розмиття в реконструкції. Ми попросили людину прийняти розслаблену позу та мінімізувати рух протягом усього процесу.
Захоплюйте з трьох рівнів висоти: зверху, на рівні очей і знизу, обходячи суб'єкта на кожній висоті. Це дає алгоритму достатньо інформації для точної реконструкції всієї фігури. KIRI Engine обробляє footage у 3DGS scene, що містить і людину, і навколишнє середовище, зберігаючи реальне освітлення та просторовий контекст локації.
Крок 2: Згенеруйте персонажа за допомогою Tripo
Для більшого контролю над фінальним результатом ми спочатку використали text-to-image generation у Tripo, щоб створити референсне зображення, а потім подали це зображення у workflow image-to-3D від Tripo. Хоча text-to-3D корисний для швидкого ідейного пошуку, використання спершу згенерованого референсного зображення дало нам більше контролю над фінальним візуальним напрямом.
Отриманий персонаж було експортовано як стандартну 3D mesh. Його візуальний стиль із flat shading, clean lines і saturated colors навмисно контрастує з фотореалістичною відсканованою фігурою.
Крок 3: Об'єднайте в Blender за допомогою 3DGS plugin від KIRI Engine
3DGS scenes експортуються як .ply files. Щоб перенести їх у Blender, ми використали open-source Blender plugin від KIRI Engine, який завантажує 3DGS scene як native object поряд зі стандартними 3D assets. Згенерованого Tripo персонажа було імпортовано як стандартну mesh і розміщено в сцені поруч із відсканованою фігурою.
Blender plugin від KIRI Engine завантажує 3DGS-захоплення реального світу як об'єкт сцени, тоді як персонаж, згенерований Tripo, імпортується як стандартна 3D mesh. Разом вони створюють змішану real-and-AI scene в межах одного workspace Blender.
У результаті виходить єдина сцена, де реальна людина, захоплена через 3DGS, і stylized character, згенерований AI, співіснують в одному просторі. Звідси сцену можна використовувати як відправну точку для кількох творчих напрямів: game prototyping, concept visualization, virtual production tests або mixed real-and-AI storytelling.
Відскановані елементи забезпечують автентичність і просторову опору. AI-generated character додає контент, якого не існує у фізичному світі. Разом вони показують, як 3DGS-захоплення реального світу може стати основою для ширшої творчої сцени, а не залишатися статичним сканом.
Сканування дає вам реальний світ. AI Generation дає вам усе, що за його межами.
Жоден із цих інструментів не замінює інший. Tripo - правильний вибір, коли ви створюєте щось з уяви, коли asset ще не існує і найбільше значення мають швидкість та творча гнучкість. KIRI Engine - правильний вибір, коли важлива точність до реальності, коли об'єкт або середовище вже існує й його потрібно захопити, а не вигадати.
Разом ці два інструменти охоплюють увесь спектр створення 3D assets: від чистої уяви до чистої реальності й усього між ними.
Спробуйте workflow самостійно: захопіть щось реальне за допомогою KIRI Engine, згенеруйте або адаптуйте creative assets за допомогою Tripo та подивіться, як захоплення на основі реальності й AI generation можуть працювати разом.
