Tripo Doodle (TripoSG Scribble): dare vita istantaneamente alle idee 3D con schizzi e testo

Al "Real-Time LIVE!" del SIGGRAPH Asia 2024, VAST (Tripo) ha presentato Tripo Doodle (indicato internamente come TripoSG Scribble), uno strumento interattivo che trasforma semplici schizzi 2D e prompt di testo in modelli 3D dettagliati in tempo reale. La modellazione 3D tradizionale comporta spesso curve di apprendimento ripide e un notevole investimento di tempo, in particolare nelle fasi iniziali di definizione delle forme di base. Tripo Doodle riduce drasticamente questa barriera, offrendo un flusso di lavoro intuitivo e rapidissimo che consente sia ai professionisti esperti sia ai nuovi arrivati di visualizzare e iterare su concetti 3D con una facilità senza precedenti. Come dimostrato dal vivo, gli utenti possono letteralmente "scarabocchiare" per ottenere asset 3D, concentrando l'energia creativa sull'idea anziché su strumenti complessi.

VAST (Tripo) è entusiasta di annunciare l'open-source di componenti chiave e delle conoscenze che lo rendono possibile.

Che cos'è Tripo Doodle? Dal palco del SIGGRAPH alla portata delle tue dita

Tripo Doodle è una nuova interfaccia progettata per semplificare e accelerare radicalmente il processo di creazione 3D. Consente agli utenti di:

1. Schizzare in modo intuitivo: disegnare semplici forme e linee 2D su una tela.
2. Aggiungere prompt di testo: fornire contesto semantico o attributi specifici tramite testo.
3. Generare istantaneamente: vedere apparire e aggiornarsi in tempo reale un modello 3D dettagliato in base a questi input.

Presentato in anteprima al Real-Time LIVE! del SIGGRAPH Asia 2024, Tripo Doodle ha conquistato il pubblico mostrando un futuro in cui la modellazione 3D è fluida e accessibile quanto scarabocchiare. Affronta direttamente la curva di apprendimento spesso ripida e la natura dispendiosa in termini di tempo dei flussi di lavoro 3D tradizionali, in particolare nella fase iniziale di blocking degli asset, permettendo ai creatori di concentrarsi esclusivamente sulle proprie idee.

Tecnologia di base: estendere TripoSG per l'interazione in tempo reale

Tripo Doodle non è stato costruito da zero; sfrutta la potenza del foundation model TripoSG all'avanguardia di VAST e lo estende con innovazioni specifiche per un'interazione multimodale in tempo reale:

1. Modello base TripoSG: il motore sottostante è TripoSG, un modello di generazione di forme 3D da immagine. Consente la generazione ad alta fedeltà di mesh 3D direttamente a partire da input di condizionamento (tipicamente immagini nel modello base). È addestrato su dati curati utilizzando rappresentazioni precise di Signed Distance Function (SDF) gestite da un Variational Autoencoder (VAE) personalizzato.
2. Condizionamento multimodale (schizzo + testo): Tripo Doodle migliora TripoSG incorporando meccanismi per comprendere e integrare sia input di schizzi sia di testo simultaneamente.
   • Guida dello schizzo: il disegno 2D fornisce forti vincoli geometrici, definendo forma, struttura e posa principali.
   • Guida del testo: i prompt in linguaggio naturale orientano l'interpretazione semantica, influenzando il tipo di oggetto, lo stile e le caratteristiche specifiche (ad esempio, aggiungere "dragon" trasforma uno schizzo generico di mostro).
3. Ottimizzazione in tempo reale (ad es., distillation): per ottenere velocità di generazione quasi istantanee, essenziali per l'esperienza interattiva di "doodling", vengono impiegate tecniche come la CFG distillation. Un modello più piccolo e ottimizzato viene addestrato per replicare l'output del modello TripoSG più grande, consentendo un'inferenza rapida adatta ad aggiornamenti in tempo reale basati su input continui dell'utente.

Dare vita alle idee

La dimostrazione al Real-Time LIVE! del SIGGRAPH Asia 2024 ha illustrato la potenza di Tripo Doodle:

• Creazione senza sforzo: semplici schizzi di una pianta, un tavolo, un anello o un mostro sono stati trasformati istantaneamente in oggetti 3D.
• Iterazione dal vivo: i modelli 3D si aggiornavano dinamicamente man mano che gli schizzi venivano disegnati, cancellati o perfezionati, e quando i prompt di testo venivano aggiunti o modificati (ad esempio, trasformando un mostro generico in un "turtle monster" o in un "dragon monster" con ali aggiunte).
• Esplorazione creativa: la funzione "Randomize" permetteva agli utenti di passare rapidamente tra diverse interpretazioni 3D valide dello stesso input schizzo/testo.
• Accessibilità: il segmento "Doodle 1v1", in cui membri del pubblico gareggiavano nel creare mostri in meno di 30 secondi, ha evidenziato quanto lo strumento sia intuitivo e veloce, anche per chi lo usa per la prima volta. Esempi come il "tomato monster" e il "caterpillar monster" hanno mostrato i risultati creativi (e talvolta sorprendenti!) ottenibili in pochi secondi.

Approfondisci

VAST è impegnata a far avanzare il settore attraverso la collaborazione aperta. Sia TripoSG Scribble sia TripoSG sono open-source.

• Prova la demo di TripoSG-Scribble
• Prova la demo di TripoSG
• Ottieni il codice e i modelli di TripoSG
• Leggi il paper di ricerca completo su TripoSG

Invitiamo la comunità di ricercatori e sviluppatori a esplorare TripoSG e i concetti alla base di Tripo Doodle, svilupparli ulteriormente e contribuire a plasmare il futuro dell'AI 3D.