Tripo Doodle (TripoSG Scribble): Da vida a tus ideas 3D al instante con bocetos y texto
En el evento "Real-Time LIVE!" de SIGGRAPH Asia 2024, VAST (Tripo) presentó Tripo Doodle (referido internamente como TripoSG Scribble), una herramienta interactiva que transforma bocetos 2D simples y prompts de texto en modelos 3D detallados en tiempo real. El modelado 3D tradicional a menudo implica curvas de aprendizaje pronunciadas y una inversión de tiempo significativa, particularmente en las etapas iniciales de bloqueo de formas. Tripo Doodle reduce drásticamente esta barrera, ofreciendo un flujo de trabajo intuitivo y ultrarrápido que permite tanto a profesionales experimentados como a recién llegados visualizar e iterar conceptos 3D con una facilidad sin precedentes. Como se demostró en vivo, los usuarios pueden literalmente "garabatear" su camino hacia activos 3D, centrando la energía creativa en la idea en lugar de en herramientas complejas.
VAST (Tripo) se complace en anunciar la publicación de código abierto de componentes clave y conocimientos detrás de esta tecnología.
¿Qué es Tripo Doodle? Del escenario de SIGGRAPH a tus manos
Tripo Doodle es una nueva interfaz diseñada para simplificar y acelerar radicalmente el proceso de creación 3D. Permite a los usuarios:
Bocetar Intuitivamente: Dibujar formas y líneas 2D simples en un lienzo.
Añadir Prompts de Texto: Proporcionar contexto semántico o atributos específicos a través de texto.
Generar al Instante: Ver un modelo 3D detallado aparecer y actualizarse en tiempo real basándose en estas entradas.
Tripo Doodle, que debutó en SIGGRAPH Asia 2024 Real-Time LIVE!, cautivó a la audiencia al mostrar un futuro donde el modelado 3D es tan fluido y accesible como dibujar garabatos. Aborda directamente la curva de aprendizaje a menudo pronunciada y la naturaleza que consume mucho tiempo de los flujos de trabajo 3D tradicionales, particularmente la fase inicial de bloqueo de activos, empoderando a los creadores para que se centren puramente en sus ideas.
Tecnología Central: Extendiendo TripoSG para la Interacción en Tiempo Real
Tripo Doodle no está construido desde cero; aprovecha el poder del modelo fundacional de vanguardia TripoSG de VAST y lo extiende con innovaciones específicas para la interacción multimodal en tiempo real:
Modelo Base TripoSG: El motor subyacente es TripoSG, un modelo de generación de formas 3D a partir de imágenes. Permite la generación de mallas 3D de alta fidelidad directamente a partir de entradas de condicionamiento (típicamente imágenes en el modelo base). Está entrenado con datos seleccionados utilizando representaciones precisas de Signed Distance Function (SDF) gestionadas por un Variational Autoencoder (VAE) personalizado.
Condicionamiento Multimodal (Boceto + Texto): Tripo Doodle mejora TripoSG al incorporar mecanismos para comprender e integrar tanto entradas de boceto como de texto simultáneamente.
Guía por Boceto: El dibujo 2D proporciona fuertes restricciones geométricas, definiendo la forma, estructura y pose principales.
Guía por Texto: Los prompts en lenguaje natural dirigen la interpretación semántica, influyendo en el tipo de objeto, estilo y características específicas (p. ej., añadir "dragón" transforma un boceto de monstruo genérico).
Optimización en Tiempo Real (p. ej., Destilación): Para lograr las velocidades de generación casi instantáneas esenciales para la experiencia interactiva de "garabateo", se emplean técnicas como la destilación CFG. Un modelo más pequeño y optimizado se entrena para replicar la salida del modelo TripoSG más grande, lo que permite una inferencia rápida adecuada para actualizaciones en tiempo real basadas en la entrada continua del usuario.
Dando vida a las ideas
La demostración de SIGGRAPH Asia 2024 Real-Time LIVE! ilustró el poder de Tripo Doodle:
Creación sin esfuerzo: Bocetos simples de una planta, mesa, anillo o monstruo se transformaron instantáneamente en objetos 3D.
Iteración en vivo: Los modelos 3D se actualizaban dinámicamente a medida que los bocetos se dibujaban, borraban o refinaban, y a medida que se añadían o cambiaban los prompts de texto (p. ej., convirtiendo un monstruo genérico en un "monstruo tortuga" o un "monstruo dragón" con alas añadidas).
Exploración creativa: La función "Aleatorizar" permitía a los usuarios recorrer rápidamente diferentes interpretaciones 3D válidas del mismo boceto/entrada de texto.
Accesibilidad: El segmento "Doodle 1v1", donde los miembros de la audiencia competían para crear monstruos en menos de 30 segundos, destacó lo intuitiva y rápida que es la herramienta, incluso para usuarios primerizos. Ejemplos como el "monstruo tomate" y el "monstruo oruga" mostraron los resultados creativos (¡y a veces sorprendentes!) que se pueden lograr en segundos.
Explora más a fondo
VAST se compromete a avanzar en el campo a través de la colaboración abierta. Tanto TripoSG Scribble como TripoSG son de código abierto.
Invitamos a la comunidad de investigación y desarrolladores a explorar TripoSG y los conceptos detrás de Tripo Doodle, a construir sobre ellos y a ayudar a dar forma al futuro de la IA 3D.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Tripo Doodle (TripoSG Scribble): Da vida a tus ideas 3D al instante con bocetos y texto
En el evento "Real-Time LIVE!" de SIGGRAPH Asia 2024, VAST (Tripo) presentó Tripo Doodle (referido internamente como TripoSG Scribble), una herramienta interactiva que transforma bocetos 2D simples y prompts de texto en modelos 3D detallados en tiempo real. El modelado 3D tradicional a menudo implica curvas de aprendizaje pronunciadas y una inversión de tiempo significativa, particularmente en las etapas iniciales de bloqueo de formas. Tripo Doodle reduce drásticamente esta barrera, ofreciendo un flujo de trabajo intuitivo y ultrarrápido que permite tanto a profesionales experimentados como a recién llegados visualizar e iterar conceptos 3D con una facilidad sin precedentes. Como se demostró en vivo, los usuarios pueden literalmente "garabatear" su camino hacia activos 3D, centrando la energía creativa en la idea en lugar de en herramientas complejas.
VAST (Tripo) se complace en anunciar la publicación de código abierto de componentes clave y conocimientos detrás de esta tecnología.
¿Qué es Tripo Doodle? Del escenario de SIGGRAPH a tus manos
Tripo Doodle es una nueva interfaz diseñada para simplificar y acelerar radicalmente el proceso de creación 3D. Permite a los usuarios:
Bocetar Intuitivamente: Dibujar formas y líneas 2D simples en un lienzo.
Añadir Prompts de Texto: Proporcionar contexto semántico o atributos específicos a través de texto.
Generar al Instante: Ver un modelo 3D detallado aparecer y actualizarse en tiempo real basándose en estas entradas.
Tripo Doodle, que debutó en SIGGRAPH Asia 2024 Real-Time LIVE!, cautivó a la audiencia al mostrar un futuro donde el modelado 3D es tan fluido y accesible como dibujar garabatos. Aborda directamente la curva de aprendizaje a menudo pronunciada y la naturaleza que consume mucho tiempo de los flujos de trabajo 3D tradicionales, particularmente la fase inicial de bloqueo de activos, empoderando a los creadores para que se centren puramente en sus ideas.
Tecnología Central: Extendiendo TripoSG para la Interacción en Tiempo Real
Tripo Doodle no está construido desde cero; aprovecha el poder del modelo fundacional de vanguardia TripoSG de VAST y lo extiende con innovaciones específicas para la interacción multimodal en tiempo real:
Modelo Base TripoSG: El motor subyacente es TripoSG, un modelo de generación de formas 3D a partir de imágenes. Permite la generación de mallas 3D de alta fidelidad directamente a partir de entradas de condicionamiento (típicamente imágenes en el modelo base). Está entrenado con datos seleccionados utilizando representaciones precisas de Signed Distance Function (SDF) gestionadas por un Variational Autoencoder (VAE) personalizado.
Condicionamiento Multimodal (Boceto + Texto): Tripo Doodle mejora TripoSG al incorporar mecanismos para comprender e integrar tanto entradas de boceto como de texto simultáneamente.
Guía por Boceto: El dibujo 2D proporciona fuertes restricciones geométricas, definiendo la forma, estructura y pose principales.
Guía por Texto: Los prompts en lenguaje natural dirigen la interpretación semántica, influyendo en el tipo de objeto, estilo y características específicas (p. ej., añadir "dragón" transforma un boceto de monstruo genérico).
Optimización en Tiempo Real (p. ej., Destilación): Para lograr las velocidades de generación casi instantáneas esenciales para la experiencia interactiva de "garabateo", se emplean técnicas como la destilación CFG. Un modelo más pequeño y optimizado se entrena para replicar la salida del modelo TripoSG más grande, lo que permite una inferencia rápida adecuada para actualizaciones en tiempo real basadas en la entrada continua del usuario.
Dando vida a las ideas
La demostración de SIGGRAPH Asia 2024 Real-Time LIVE! ilustró el poder de Tripo Doodle:
Creación sin esfuerzo: Bocetos simples de una planta, mesa, anillo o monstruo se transformaron instantáneamente en objetos 3D.
Iteración en vivo: Los modelos 3D se actualizaban dinámicamente a medida que los bocetos se dibujaban, borraban o refinaban, y a medida que se añadían o cambiaban los prompts de texto (p. ej., convirtiendo un monstruo genérico en un "monstruo tortuga" o un "monstruo dragón" con alas añadidas).
Exploración creativa: La función "Aleatorizar" permitía a los usuarios recorrer rápidamente diferentes interpretaciones 3D válidas del mismo boceto/entrada de texto.
Accesibilidad: El segmento "Doodle 1v1", donde los miembros de la audiencia competían para crear monstruos en menos de 30 segundos, destacó lo intuitiva y rápida que es la herramienta, incluso para usuarios primerizos. Ejemplos como el "monstruo tomate" y el "monstruo oruga" mostraron los resultados creativos (¡y a veces sorprendentes!) que se pueden lograr en segundos.
Explora más a fondo
VAST se compromete a avanzar en el campo a través de la colaboración abierta. Tanto TripoSG Scribble como TripoSG son de código abierto.
Invitamos a la comunidad de investigación y desarrolladores a explorar TripoSG y los conceptos detrás de Tripo Doodle, a construir sobre ellos y a ayudar a dar forma al futuro de la IA 3D.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
