Como a Geração 3D com IA Expande o que Você Pode Fazer com Scans 3D Mobile

Duas Ferramentas. Duas Funções Diferentes.

Para muitos criadores hoje, a criação 3D costuma partir de um de dois lugares: uma ideia, ou o mundo real.

O primeiro é a geração por IA. Ferramentas como o Tripo permitem transformar um prompt de texto, um esboço ou uma imagem de referência em um modelo 3D em segundos. É rápido, criativo e não exige nenhum equipamento de scan ou configuração técnica.

O segundo é o scan 3D mobile. O KIRI Engine, por exemplo, captura objetos e ambientes que já existem no mundo real, preservando com precisão a geometria, a textura de superfície e os detalhes de material, usando apenas um smartphone.

Essas abordagens não competem entre si. Elas resolvem problemas diferentes. Juntas, cobrem mais etapas do pipeline criativo do que qualquer uma das ferramentas conseguiria sozinha.

O que o Scan 3D Mobile Faz Bem

O scan 3D mobile captura o que já existe: a forma real de um objeto físico, sua textura de superfície original, a maneira como a luz interage com seus materiais. Isso é algo que a geração por IA pode aproximar, mas não substituir completamente quando a precisão com o mundo real é essencial, pois a informação vem da própria realidade.

O KIRI Engine oferece três modos de captura dependendo do que você está escaneando:

• Fotogrametria captura dezenas a centenas de fotos e reconstrói geometria precisa e mapas de cor. Ideal para objetos com detalhes de superfície e textura bem definidos.
• LiDAR usa o sensor de profundidade em iPhones compatíveis para scan espacial rápido com escala real, especialmente para ambientes internos e espaços maiores. No KIRI Engine, scans com LiDAR também podem ser aprimorados com IA para melhorar o detalhe de superfície, tornando-os mais úteis como referências espaciais ou bases de cena.
• 3D Gaussian Splatting (3DGS) captura a aparência visual de objetos e cenas sem partir de geometria de mesh tradicional. Pode ser útil para materiais complexos, superfícies orgânicas e ambientes completos onde a fotogrametria tradicional pode ser mais difícil de reconstruir com clareza. O KIRI Engine também inclui conversão integrada de 3DGS para Mesh, permitindo que criadores transformem capturas em splat em assets de mesh no mobile quando precisam de modelos poligonais para fluxos de trabalho posteriores.

O resultado é uma captura 3D de alta fidelidade que serve como base sólida para trabalhos criativos futuros.

O que a Geração por IA Acrescenta a um Fluxo de Trabalho com Scan

Scans de alta fidelidade oferecem uma base real e sólida. Para diferentes usos posteriores, os criadores ainda podem precisar de meshes mais leves, novas direções de material ou assets gerados adicionais para completar uma cena. É aqui que o Tripo expande o fluxo de trabalho:

• Retopologia reduz significativamente a contagem de polígonos mantendo a geometria escaneada visualmente reconhecível, produzindo uma topologia Quad limpa adequada para fluxos de trabalho em tempo real e ferramentas 3D.
• Geração de textura substitui ou transforma o material de superfície de um asset escaneado, abrindo direções visuais completamente novas a partir da mesma geometria.
• Geração de assets cria novos objetos e personagens 3D que podem ser inseridos diretamente em ambientes reais escaneados.

Cada um desses recursos expande o que os criadores podem fazer com um scan após a captura.

Fluxo de Trabalho 1: De Escultura Real a Asset Otimizado para Jogos

Exemplo real: uma miniatura pintada escaneada com o KIRI Engine

Uma miniatura detalhada é um ótimo caso de teste para este fluxo de trabalho. A peça original tem detalhes complexos de superfície nas dobras das roupas, nas feições do rosto e em uma pose dinâmica em movimento. Exatamente o tipo de geometria que levaria horas para modelar manualmente, mas que é capturada com facilidade pela fotogrametria.

Passo 1: Escanear com o KIRI Engine

Usando o modo Photo Scan, capture o objeto de múltiplos ângulos e alturas. Para uma miniatura desse tamanho, de 60 a 80 fotos cobrindo toda a silhueta costuma ser suficiente. O KIRI Engine processa a reconstrução automaticamente e exporta um arquivo GLB com a geometria e os mapas de textura intactos.

Passo 2: Reestilizar com Geração de Textura

Neste teste, descobrimos que executar a geração de textura antes da retopologia produziu melhores resultados. Com a geometria completa do scan intacta, o Tripo tem mais informações de superfície para trabalhar ao interpretar a direção do material. Reduzir a contagem de polígonos primeiro pode limitar parte das informações de superfície disponíveis para a geração de textura.

Com isso em mente, usando o prompt "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style", a miniatura escaneada foi reinterpretada como um personagem estilizado no estilo RPG de fantasia. A pose e as proporções vieram do scan real. O estilo visual veio do Tripo.

Passo 3: Retopologizar no Tripo

Com a direção visual definida, o asset é então retopologizado para reduzir a contagem de polígonos. O scan original tinha 40.296 triângulos. Após a retopologia, o mesmo asset ficou com 9.566 faces em topologia Quad, uma redução de aproximadamente 76%, mantendo a pose, as proporções e a silhueta geral intactas.

Um objeto físico. Um scan. Neste fluxo de trabalho, uma escultura real pode se tornar um asset mais leve e estilizado para jogos sem precisar reconstruí-lo do zero manualmente.

Fluxo de Trabalho 2: Quando uma Pessoa Real e um Personagem de IA Compartilham a Mesma Cena

Exemplo real: uma pessoa capturada com 3DGS combinada com um personagem gerado por IA

Um dos usos mais interessantes do 3D Gaussian Splatting é a captura de pessoas reais. O 3DGS é particularmente adequado para capturar uma pessoa junto com o ambiente ao redor em uma única passagem contínua, preservando a iluminação realista, os detalhes das roupas e o contexto espacial de uma só vez.

Passo 1: Capturar uma pessoa real com o 3D Gaussian Splatting do KIRI Engine

Escanear uma pessoa com 3D Gaussian Splatting exige um pouco mais de cuidado do que escanear um objeto. O sujeito precisa ficar o mais imóvel possível durante a captura; até pequenos movimentos como respirar ou mudar o peso do corpo podem introduzir borrões na reconstrução. Pedimos ao sujeito que mantivesse uma pose relaxada e minimizasse os movimentos durante todo o processo.

Capture em três níveis de altura: ângulo alto, nível dos olhos e ângulo baixo, caminhando ao redor do sujeito em cada altura. Isso fornece ao algoritmo informações suficientes para reconstruir a figura completa com precisão. O KIRI Engine processa as imagens em uma cena 3DGS que inclui tanto a pessoa quanto o ambiente ao redor, preservando a iluminação real e o contexto espacial do local.

Passo 2: Gerar um personagem com o Tripo

Para ter mais controle sobre o resultado final, usamos primeiro a geração de texto para imagem do Tripo para criar uma imagem de referência e, em seguida, inserimos essa imagem no fluxo de trabalho image-to-3D do Tripo. Embora o text-to-3D seja útil para ideação rápida, usar uma imagem de referência gerada primeiro nos deu mais controle sobre a direção visual final.

O personagem resultante foi exportado como um mesh 3D padrão. Seu estilo visual, com sombreamento flat, linhas limpas e cores saturadas, contrasta intencionalmente com a figura escaneada de forma fotorrealista.

Passo 3: Combinar no Blender usando o plugin 3DGS do KIRI Engine

As cenas 3DGS são exportadas como arquivos .ply. Para importá-las no Blender, usamos o plugin open-source do KIRI Engine para Blender, que carrega a cena 3DGS como um objeto nativo ao lado de assets 3D padrão. O personagem gerado pelo Tripo foi importado como um mesh padrão e posicionado na cena ao lado da figura escaneada.

O plugin do KIRI Engine para Blender carrega a captura 3DGS do mundo real como um objeto de cena, enquanto o personagem gerado pelo Tripo é importado como um mesh 3D padrão. Juntos, eles criam uma cena mista de real e IA dentro do mesmo workspace do Blender.

O resultado é uma única cena onde uma pessoa real capturada via 3DGS e um personagem estilizado gerado por IA coexistem no mesmo espaço. A partir daqui, a cena pode servir como ponto de partida para diversas direções criativas: prototipagem de jogos, visualização de conceitos, testes de produção virtual ou narrativas que misturam o real e o gerado por IA.

Os elementos escaneados oferecem autenticidade e ancoragem espacial. O personagem gerado por IA adiciona conteúdo que não existe no mundo físico. Juntos, mostram como uma captura 3DGS do mundo real pode se tornar a base de uma cena criativa mais ampla, em vez de permanecer apenas um scan estático.

O Scan Captura o Mundo Real. A IA Gera Tudo Além Dele.

Nenhuma ferramenta substitui a outra. O Tripo é a escolha certa quando você está construindo algo a partir da imaginação, quando o asset ainda não existe e a velocidade e a flexibilidade criativa são o que mais importa. O KIRI Engine é a escolha certa quando a precisão com a realidade é essencial, quando o objeto ou ambiente já existe e precisa ser capturado, não inventado.

Usadas juntas, as duas ferramentas cobrem toda a gama de criação de assets 3D: da pura imaginação à pura realidade, e tudo que existe entre eles.

Experimente o fluxo de trabalho você mesmo: capture algo real com o KIRI Engine, gere ou adapte assets criativos com o Tripo, e veja como a captura baseada na realidade e a geração por IA podem trabalhar juntas.