Как AI-генерация 3D расширяет возможности мобильного 3D-сканирования

Два инструмента. Две разные задачи.

Для многих авторов 3D-творчество начинается с одного из двух источников: идеи или реального мира.

Первый — AI-генерация. Такие инструменты, как Tripo, позволяют превратить текстовый prompt, набросок или референсное изображение в 3D-модель за считанные секунды. Это быстро, творчески и не требует никакого сканирующего оборудования или технической подготовки.

Второй — мобильное 3D-сканирование. KIRI Engine, например, захватывает объекты и окружение, которые уже существуют в реальном мире, сохраняя точную геометрию, текстуру поверхности и детали материалов — и всё это с помощью обычного смартфона.

Это не конкурирующие подходы — они решают разные задачи. Вместе они охватывают больше этапов творческого пайплайна, чем каждый инструмент по отдельности.

Что хорошо умеет мобильное 3D-сканирование

Мобильное 3D-сканирование фиксирует то, что уже существует: реальную форму физического объекта, его фактическую текстуру поверхности, то, как свет взаимодействует с его материалами. AI-генерация может это приблизительно воспроизвести, но не способна полностью заменить сканирование там, где важна точность, — ведь информация берётся из самой реальности.

KIRI Engine предлагает три режима захвата в зависимости от того, что вы сканируете:

• Фотограмметрия — делает десятки или сотни фотографий и восстанавливает точную геометрию и карты цвета. Лучше всего подходит для объектов с чёткой детализацией поверхности и текстурой.
• LiDAR — использует датчик глубины на поддерживаемых iPhone для быстрого пространственного сканирования с реальным масштабом, особенно для помещений и больших пространств. В KIRI Engine LiDAR-сканы также можно улучшить с помощью AI для повышения детализации поверхности, что делает их более полезными в качестве пространственных референсов или основы для сцен.
• 3D Gaussian Splatting (3DGS) — захватывает визуальный облик объектов и сцен без опоры на традиционную mesh-геометрию. Это удобно для сложных материалов, органических поверхностей и целых окружений, где традиционная фотограмметрия может давать менее чистый результат. KIRI Engine также включает встроенную конвертацию 3DGS в Mesh, позволяя авторам прямо на мобильном устройстве превращать splat-захваты в mesh-ассеты, когда для дальнейшей работы нужны полигональные модели.

Результат — высококачественный 3D-захват, который служит прочной основой для дальнейшей творческой работы.

Что AI-генерация добавляет к рабочему процессу сканирования

Высококачественные сканы дают надёжную реальную основу. Для разных задач авторам может понадобиться более лёгкий mesh, новое направление материалов или дополнительные сгенерированные ассеты для завершения сцены. Именно здесь Tripo расширяет рабочий процесс:

• Retopology — значительно снижает количество полигонов, сохраняя при этом визуально узнаваемую геометрию скана и формируя чистую Quad-топологию, подходящую для real-time пайплайнов и 3D-инструментов.
• Генерация текстур — заменяет или преобразует материал поверхности сканированного ассета, открывая совершенно новые визуальные направления на основе той же геометрии.
• Генерация ассетов — создаёт новые 3D-объекты и персонажей, которые можно напрямую размещать в отсканированных реальных окружениях.

Каждая из этих возможностей расширяет то, что авторы могут сделать со сканом после его получения.

Рабочий процесс 1: от реальной скульптуры к игровому ассету

Реальный пример: раскрашенная фигурка, отсканированная с помощью KIRI Engine

Детализированная фигурка — отличный тест для этого рабочего процесса. Оригинальная вещь имеет сложную детализацию поверхности: складки одежды, черты лица и динамичная поза в движении. Именно такая геометрия потребовала бы часов ручного моделирования, но хорошо захватывается с помощью фотограмметрии.

Шаг 1: Сканирование в KIRI Engine

Используя режим Photo Scan, сфотографируйте объект с разных углов и высот. Для фигурки такого размера обычно достаточно 60–80 фотографий, охватывающих весь силуэт. KIRI Engine автоматически обрабатывает реконструкцию и экспортирует GLB-файл с сохранёнными геометрией и картами текстур.

Шаг 2: Изменение стиля с помощью генерации текстур

В ходе теста мы обнаружили, что запуск генерации текстур до retopology даёт лучшие результаты. При сохранённой полной геометрии скана у Tripo больше информации о поверхности для интерпретации направления материала. Предварительное снижение количества полигонов может ограничить часть информации о поверхности, доступной для генерации текстур.

Исходя из этого, с помощью prompt «stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style» отсканированная фигурка была переосмыслена как стилизованный персонаж в духе фэнтезийной RPG. Поза и пропорции взяты из реального скана. Визуальный стиль — от Tripo.

Шаг 3: Retopology в Tripo

После того как визуальное направление определено, ассет проходит retopology для снижения количества полигонов. Исходный скан содержал 40 296 треугольников. После retopology тот же ассет получил 9 566 faces с Quad-топологией — снижение примерно на 76% при сохранении позы, пропорций и общего силуэта.

Один физический объект. Один скан. В рамках этого рабочего процесса реальная скульптура может стать лёгким стилизованным игровым ассетом без необходимости вручную воссоздавать его с нуля.

Рабочий процесс 2: когда реальный человек и AI-персонаж оказываются в одной сцене

Реальный пример: человек, захваченный с помощью 3DGS, в сочетании с AI-сгенерированным персонажем

Одно из наиболее интересных применений 3D Gaussian Splatting — захват реальных людей. 3DGS особенно хорошо подходит для съёмки человека вместе с окружающей средой за один непрерывный проход, сохраняя реалистичное освещение, детали одежды и пространственный контекст одновременно.

Шаг 1: Захват реального человека с помощью KIRI Engine 3D Gaussian Splatting

Сканирование человека с помощью 3D Gaussian Splatting требует чуть большей аккуратности, чем сканирование объекта. Во время захвата объект съёмки должен оставаться как можно более неподвижным — даже небольшие движения, например дыхание или смещение веса, могут вызвать размытие в реконструкции. Мы попросили человека принять расслабленную позу и максимально ограничить движения на протяжении всей съёмки.

Снимайте с трёх уровней высоты: сверху, на уровне глаз и снизу, обходя объект на каждом уровне. Это даёт алгоритму достаточно информации для точной реконструкции всей фигуры. KIRI Engine обрабатывает отснятый материал в 3DGS-сцену, включающую как человека, так и окружающую среду, сохраняя реальное освещение и пространственный контекст места съёмки.

Шаг 2: Генерация персонажа в Tripo

Для большего контроля над конечным результатом мы сначала использовали генерацию text-to-image в Tripo, чтобы создать референсное изображение, а затем загрузили его в рабочий процесс image-to-3D. Хотя text-to-3D удобен для быстрого поиска идей, предварительное создание референсного изображения дало нам больше контроля над итоговым визуальным направлением.

Полученный персонаж был экспортирован как стандартный 3D mesh. Его визуальный стиль — с плоским затенением, чёткими линиями и насыщенными цветами — намеренно контрастирует с фотореалистичной сканированной фигурой.

Шаг 3: Объединение в Blender с помощью плагина KIRI Engine для 3DGS

3DGS-сцены экспортируются в формате .ply. Чтобы загрузить их в Blender, мы использовали открытый плагин KIRI Engine для Blender, который загружает 3DGS-сцену как нативный объект рядом со стандартными 3D-ассетами. Сгенерированный в Tripo персонаж был импортирован как стандартный mesh и размещён в сцене рядом со сканированной фигурой.

Плагин KIRI Engine для Blender загружает реальный 3DGS-захват как объект сцены, тогда как сгенерированный в Tripo персонаж импортируется как стандартный 3D mesh. Вместе они создают смешанную реально-AI сцену в едином рабочем пространстве Blender.

Результат — единая сцена, в которой реальный человек, захваченный через 3DGS, и стилизованный AI-персонаж сосуществуют в одном пространстве. Отсюда сцена может стать отправной точкой для нескольких творческих направлений: прототипирования игр, концептуальной визуализации, тестов виртуального производства или смешанного реально-AI сторителлинга.

Сканированные элементы обеспечивают достоверность и пространственную привязку. AI-сгенерированный персонаж добавляет контент, которого не существует в физическом мире. Вместе они показывают, как реальный 3DGS-захват может стать основой для более широкой творческой сцены, а не оставаться статичным сканом.

Сканирование даёт вам реальный мир. AI-генерация даёт всё остальное.

Ни один инструмент не заменяет другой. Tripo — правильный выбор, когда вы создаёте что-то из воображения, когда ассет ещё не существует и важнее всего скорость и творческая гибкость. KIRI Engine — правильный выбор, когда важна точность воспроизведения реальности, когда объект или окружение уже существуют и их нужно захватить, а не придумать.

Используемые вместе, эти два инструмента охватывают весь спектр создания 3D-ассетов: от чистого воображения до чистой реальности — и всё, что между ними.

Попробуйте этот рабочий процесс сами: захватите что-нибудь реальное с помощью KIRI Engine, создайте или адаптируйте творческие ассеты в Tripo и убедитесь, как захват на основе реальности и AI-генерация могут работать вместе.