Cómo la generación 3D con IA amplía lo que puedes hacer con escaneos 3D móviles

Dos herramientas. Dos funciones distintas.

Para muchos creadores hoy en día, la creación 3D suele partir de uno de dos lugares: una idea, o el mundo real.

El primero es la generación con IA. Herramientas como Tripo te permiten convertir un prompt de texto, un boceto o una imagen de referencia en un modelo 3D en segundos. Es rápido, creativo y no requiere ningún equipo de escaneo ni configuración técnica.

El segundo es el escaneo 3D móvil. KIRI Engine, por ejemplo, captura objetos y entornos que ya existen en el mundo real, preservando su geometría precisa, la textura de superficie y el detalle de materiales, usando únicamente un smartphone.

Estos enfoques no compiten entre sí. Resuelven problemas distintos. Juntos, cubren más etapas del pipeline creativo de lo que cualquiera de las dos herramientas podría manejar por separado.

En qué destaca el escaneo 3D móvil

El escaneo 3D móvil captura lo que ya existe: la forma real de un objeto físico, su textura de superficie real, la manera en que la luz interactúa con sus materiales. Esto es algo que la generación con IA puede aproximar, pero no reemplazar del todo cuando la precisión respecto al mundo real importa, porque la información proviene de la realidad misma.

KIRI Engine ofrece tres modos de captura según lo que estés escaneando:

• Fotogrametría: captura decenas o cientos de fotos y reconstruye la geometría precisa junto con los mapas de color. Ideal para objetos con detalle de superficie y textura bien definidos.
• LiDAR: utiliza el sensor de profundidad de los iPhones compatibles para un escaneo espacial rápido con escala real, especialmente útil para habitaciones y espacios más grandes. En KIRI Engine, los escaneos LiDAR también pueden mejorarse con IA para aumentar el detalle de superficie, lo que los hace más útiles como referencias espaciales o bases de escena.
• 3D Gaussian Splatting (3DGS): captura la apariencia visual de objetos y escenas sin partir de una geometría de mesh tradicional. Resulta útil para materiales complejos, superficies orgánicas y entornos completos donde la fotogrametría tradicional puede ser más difícil de reconstruir con limpieza. KIRI Engine también incluye conversión integrada de 3DGS a Mesh, lo que permite a los creadores convertir capturas splat en assets de mesh directamente en el móvil cuando necesitan modelos poligonales para flujos de trabajo posteriores.

El resultado es una captura 3D de alta fidelidad que sirve como base sólida para el trabajo creativo posterior.

Qué aporta la generación con IA a un flujo de trabajo de escaneo

Los escaneos de alta fidelidad ofrecen una base real muy sólida. Para distintos usos posteriores, los creadores pueden necesitar meshes más ligeros, nuevas direcciones de materiales o assets generados adicionales para completar una escena. Aquí es donde Tripo amplía el flujo de trabajo:

• Retopología: reduce significativamente el número de polígonos manteniendo la geometría escaneada visualmente reconocible, y produce una topología Quad limpia adecuada para flujos de trabajo en tiempo real y herramientas 3D.
• Generación de texturas: reemplaza o transforma el material de superficie de un asset escaneado, abriendo direcciones visuales completamente nuevas a partir de la misma geometría.
• Generación de assets: crea nuevos objetos 3D y personajes que pueden colocarse directamente en entornos reales escaneados.

Cada uno de estos pasos amplía lo que los creadores pueden hacer con un escaneo una vez realizada la captura.

Flujo de trabajo 1: De escultura real a asset optimizado para videojuegos

Ejemplo real: una figura pintada escaneada con KIRI Engine

Una figura detallada es un caso de prueba ideal para este flujo de trabajo. La pieza original tiene un detalle de superficie complejo en los pliegues de la ropa, los rasgos faciales y una pose dinámica a medio paso. Exactamente el tipo de geometría que llevaría horas modelar manualmente, pero que se captura bien con fotogrametría.

Paso 1: Escanear con KIRI Engine

Usando el modo Photo Scan, captura el objeto desde múltiples ángulos y alturas. Para una figura de este tamaño, entre 60 y 80 fotos que cubran toda la silueta suele ser suficiente. KIRI Engine procesa la reconstrucción automáticamente y exporta un archivo GLB con la geometría y los mapas de textura intactos.

Paso 2: Rediseñar con generación de texturas

En esta prueba, descubrimos que ejecutar la generación de texturas antes de la retopología producía mejores resultados. Con la geometría completa del escaneo intacta, Tripo dispone de más información de superficie para interpretar la dirección del material. Reducir el número de polígonos primero puede limitar parte de la información de superficie disponible para la generación de texturas.

Con esto en mente, usando el prompt "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style", la figura escaneada fue reinterpretada como un asset de personaje estilizado al estilo RPG de fantasía. La pose y las proporciones provienen del escaneo real. El estilo visual proviene de Tripo.

Paso 3: Retopologizar en Tripo

Con la dirección visual establecida, el asset se retopologiza para reducir el número de polígonos. El escaneo original tenía 40.296 triángulos. Tras la retopología, el mismo asset quedó en 9.566 caras con topología Quad, una reducción de aproximadamente el 76%, manteniendo la pose, las proporciones y la silueta general intactas.

Un objeto físico. Un escaneo. Con este flujo de trabajo, una escultura del mundo real puede convertirse en un asset estilizado y optimizado para videojuegos sin necesidad de reconstruirlo manualmente desde cero.

Flujo de trabajo 2: Cuando una persona real y un personaje de IA comparten la misma escena

Ejemplo real: una persona capturada con 3DGS combinada con un personaje generado por IA

Uno de los usos más interesantes del 3D Gaussian Splatting es la captura de personas reales. El 3DGS es especialmente adecuado para capturar a una persona junto con su entorno en un único recorrido continuo, preservando la iluminación realista, el detalle de la ropa y el contexto espacial al mismo tiempo.

Paso 1: Capturar a una persona real con KIRI Engine 3D Gaussian Splatting

Escanear a una persona con 3D Gaussian Splatting requiere un poco más de cuidado que escanear un objeto. El sujeto debe permanecer lo más quieto posible durante la captura; incluso movimientos pequeños como respirar o cambiar el peso pueden introducir desenfoque en la reconstrucción. Le pedimos al sujeto que mantuviera una pose relajada y minimizara el movimiento durante todo el proceso.

Captura desde tres niveles de altura: ángulo alto, altura de los ojos y ángulo bajo, caminando alrededor del sujeto en cada altura. Esto le da al algoritmo suficiente información para reconstruir la figura completa con precisión. KIRI Engine procesa el material en una escena 3DGS que incluye tanto a la persona como al entorno circundante, preservando la iluminación real y el contexto espacial del lugar.

Paso 2: Generar un personaje con Tripo

Para tener más control sobre el resultado final, primero usamos la generación text-to-image de Tripo para crear una imagen de referencia, y luego la introdujimos en el flujo de trabajo image-to-3D de Tripo. Aunque el text-to-3D es útil para una ideación rápida, usar primero una imagen de referencia generada nos dio más control sobre la dirección visual final.

El personaje resultante fue exportado como un mesh 3D estándar. Su estilo visual, con sombreado plano, líneas limpias y colores saturados, contrasta intencionalmente con la figura escaneada fotorrealista.

Paso 3: Combinar en Blender usando el plugin 3DGS de KIRI Engine

Las escenas 3DGS se exportan como archivos .ply. Para importarlas en Blender, usamos el plugin de código abierto de KIRI Engine para Blender, que carga la escena 3DGS como un objeto nativo junto a los assets 3D estándar. El personaje generado con Tripo fue importado como un mesh estándar y posicionado en la escena junto a la figura escaneada.

El plugin de KIRI Engine para Blender carga la captura 3DGS del mundo real como un objeto de escena, mientras que el personaje generado con Tripo se importa como un mesh 3D estándar. Juntos, crean una escena mixta de real e IA dentro del mismo espacio de trabajo de Blender.

El resultado es una única escena donde una persona real capturada mediante 3DGS y un personaje estilizado generado por IA coexisten en el mismo espacio. Desde aquí, la escena puede usarse como punto de partida para varias direcciones creativas: prototipado de videojuegos, visualización de conceptos, pruebas de producción virtual o narrativas que mezclan lo real con lo generado por IA.

Los elementos escaneados aportan autenticidad y anclaje espacial. El personaje generado por IA añade contenido que no existe en el mundo físico. Juntos, muestran cómo una captura 3DGS del mundo real puede convertirse en la base de una escena creativa más amplia, en lugar de quedarse como un escaneo estático.

El escaneo te da el mundo real. La generación con IA te da todo lo que va más allá.

Ninguna herramienta reemplaza a la otra. Tripo es la opción adecuada cuando estás construyendo algo desde la imaginación, cuando el asset aún no existe y lo que más importa es la velocidad y la flexibilidad creativa. KIRI Engine es la opción adecuada cuando la precisión respecto a la realidad importa, cuando el objeto o entorno ya existe y necesita ser capturado en lugar de inventado.

Usadas juntas, las dos herramientas cubren todo el espectro de la creación de assets 3D: desde la imaginación pura hasta la realidad pura, y todo lo que hay entre medias.

Prueba el flujo de trabajo tú mismo: captura algo real con KIRI Engine, genera o adapta assets creativos con Tripo, y descubre cómo la captura basada en la realidad y la generación con IA pueden trabajar juntas.