Tripo Doodle (TripoSG Scribble) : donner vie instantanément aux idées 3D avec le croquis et le texte

Lors du « Real-Time LIVE! » de SIGGRAPH Asia 2024, VAST (Tripo) a dévoilé Tripo Doodle (désigné en interne sous le nom de TripoSG Scribble), un outil interactif qui transforme de simples croquis 2D et des prompts textuels en modèles 3D détaillés en temps réel. La modélisation 3D traditionnelle implique souvent une courbe d'apprentissage abrupte et un investissement en temps considérable, en particulier dans les premières étapes de mise en place des formes. Tripo Doodle réduit considérablement cette barrière en proposant un workflow intuitif et ultra-rapide qui permet aussi bien aux professionnels expérimentés qu'aux nouveaux venus de visualiser et d'itérer sur des concepts 3D avec une facilité sans précédent. Comme démontré en direct, les utilisateurs peuvent littéralement « doodler » pour créer des assets 3D, en concentrant leur énergie créative sur l'idée plutôt que sur des outils complexes.

VAST (Tripo) est ravi d'annoncer l'open source de composants clés et des connaissances qui le sous-tendent.

Qu'est-ce que Tripo Doodle ? De la scène SIGGRAPH au bout des doigts

Tripo Doodle est une nouvelle interface conçue pour simplifier et accélérer radicalement le processus de création 3D. Elle permet aux utilisateurs de :

1. Esquisser intuitivement : Dessiner des formes et des lignes 2D simples sur une toile.
2. Ajouter des prompts textuels : Fournir un contexte sémantique ou des attributs spécifiques via du texte.
3. Générer instantanément : Voir apparaître un modèle 3D détaillé et se mettre à jour en temps réel en fonction de ces entrées.

Présenté pour la première fois au Real-Time LIVE! de SIGGRAPH Asia 2024, Tripo Doodle a captivé le public en montrant un futur où la modélisation 3D est aussi fluide et accessible que le doodling. Il répond directement à la courbe d'apprentissage souvent abrupte et à la nature chronophage des workflows 3D traditionnels, en particulier lors de la phase initiale de blocage des assets, permettant aux créateurs de se concentrer uniquement sur leurs idées.

Technologie de base : étendre TripoSG pour une interaction en temps réel

Tripo Doodle n'est pas construit à partir de zéro ; il exploite la puissance du modèle de fondation TripoSG de pointe de VAST et l'étend avec des innovations spécifiques pour une interaction multimodale en temps réel :

1. Modèle de base TripoSG : Le moteur sous-jacent est TripoSG, un modèle de génération de formes 3D à partir d'images. Il permet la génération haute fidélité de meshes 3D directement à partir d'entrées de conditionnement (généralement des images dans le modèle de base). Il est entraîné sur des données sélectionnées à l'aide de représentations précises de Signed Distance Function (SDF) gérées par un Variational Autoencoder (VAE) personnalisé.
2. Conditionnement multimodal (croquis + texte) : Tripo Doodle améliore TripoSG en intégrant des mécanismes capables de comprendre et de combiner à la fois les entrées de croquis et de texte simultanément.
   • Guidage par croquis : Le dessin 2D fournit de fortes contraintes géométriques, définissant la forme, la structure et la pose de base.
   • Guidage par texte : Les prompts en langage naturel orientent l'interprétation sémantique, influençant le type d'objet, le style et des caractéristiques spécifiques (par exemple, l'ajout de « dragon » transforme un croquis générique de monstre).
3. Optimisation en temps réel (p. ex., distillation) : Pour atteindre les vitesses de génération quasi instantanées essentielles à l'expérience interactive de « doodling », des techniques telles que la distillation CFG sont employées. Un modèle plus petit et optimisé est entraîné à reproduire la sortie du modèle TripoSG plus grand, permettant une inférence rapide adaptée aux mises à jour en temps réel basées sur les entrées continues de l'utilisateur.

Donner vie aux idées

La démonstration Real-Time LIVE! de SIGGRAPH Asia 2024 a illustré la puissance de Tripo Doodle :

• Création sans effort : De simples croquis d'une plante, d'une table, d'une bague ou d'un monstre ont été instantanément transformés en objets 3D.
• Itération en direct : Les modèles 3D se mettaient à jour de manière dynamique à mesure que les croquis étaient dessinés, effacés ou affinés, et que des prompts textuels étaient ajoutés ou modifiés (par exemple, en transformant un monstre générique en « turtle monster » ou en « dragon monster » avec des ailes ajoutées).
• Exploration créative : La fonction « Randomize » permettait aux utilisateurs de parcourir rapidement différentes interprétations 3D valides à partir du même croquis/de la même entrée textuelle.
• Accessibilité : Le segment « Doodle 1v1 », dans lequel des membres du public s'affrontaient pour créer des monstres en moins de 30 secondes, a mis en avant à quel point l'outil est intuitif et rapide, même pour les nouveaux utilisateurs. Des exemples comme le « tomato monster » et le « caterpillar monster » ont montré les résultats créatifs (et parfois surprenants !) réalisables en quelques secondes.

Aller plus loin

VAST s'engage à faire progresser le domaine grâce à une collaboration ouverte. TripoSG Scribble et TripoSG sont tous deux open source.

• Essayer la démo TripoSG-Scribble
• Essayer la démo TripoSG
• Obtenir le code et les modèles TripoSG
• Lire l'article de recherche complet sur TripoSG

Nous invitons la communauté de la recherche et des développeurs à explorer TripoSG et les concepts derrière Tripo Doodle, à s'appuyer sur eux et à contribuer à façonner l'avenir de l'IA 3D.