VAST Open Source Month | TripoSG & TripoSF, stabiliscono un nuovo SOTA nella generazione 3D
Nel marzo 2024, VAST e Stability AI hanno reso open-source congiuntamente il modello 3D su larga scala TripoSR. Grazie alla sua rivoluzionaria capacità di generare un modello 3D da una singola immagine in appena 0,5 secondi, è rapidamente diventato lo strumento di riferimento per i creatori 3D di tutto il mondo.
Nello stesso anno, i progetti open-source hanno continuato a spingere oltre i confini dell'industria AI, alimentando una rapida crescita sia nella ricerca accademica sia nelle applicazioni commerciali.
VAST ha ulteriormente fatto avanzare la sua serie Tripo lanciando Tripo 2.0 a settembre 2024 e Tripo 2.5 a gennaio 2025. Addestrate su decine di milioni di asset 3D nativi di alta qualità, queste iterazioni hanno costantemente aperto nuovi orizzonti in termini di velocità di generazione, accuratezza del modello e successo complessivo, ciascuna con una straordinaria precisione geometrica che ha ridefinito le frontiere della creazione di modelli 3D.
Nel nostro percorso globale verso il progresso tecnologico, comprendiamo che le innovazioni dirompenti nelle architetture fondamentali e i progressi nelle capacità dei modelli sono essenziali per i team che lavorano sui foundational model. Mentre continuiamo a perfezionare Tripo fino a renderlo una "soluzione perfetta" in un ambiente chiuso, crediamo che sia ancora più importante trasformarci in un "elemento costitutivo fondamentale" all'interno dell'ecosistema open-source. Un ecosistema tecnico aperto possiede un valore di lungo termine molto maggiore rispetto a un sistema chiuso.
Con questo in mente, nel marzo 2025 abbiamo lanciato la nostra iniziativa "Technology Open-Source Month".
Prevediamo di rendere progressivamente open-source otto grandi progetti che coprono l'intera catena tecnica, dai modelli di generazione fondamentali e i componenti funzionali principali fino all'esplorazione di idee innovative. La nostra ambizione è costruire il primo sistema open-source end-to-end al mondo per la generazione 3D e speriamo sinceramente che ricercatori e sviluppatori nel campo della generazione 3D trovino il nostro lavoro tanto stimolante quanto prezioso.
Ora VAST sta rilasciando due modelli fondamentali per la generazione 3D:
TripoSG e TripoSF.
Grande aggiornamento di TripoSG: la prima architettura MoE Transformer nella generazione 3D
TripoSG è un modello fondamentale di generazione 3D basato su un'architettura MoE Transformer fondata su Rectified Flow (RF). In questa release, rendiamo open-source i pesi e il codice di inferenza del modello TripoSG da 1,5 miliardi di parametri, che puoi provare tramite una demo interattiva su HuggingFace.
I test hanno dimostrato che la qualità dell'output di TripoSG è al livello di Tripo 2.0, superando tutti i progetti open-source esistenti di generazione 3D. I suoi vantaggi più evidenti includono un'eccellente generalizzazione e un'elevata stabilità nella generazione di oggetti compositi complessi.
Nel rispetto della Scaling Law, sfruttare dati di qualità superiore e utilizzare modelli più grandi restano i fattori chiave alla base del successo di TripoSG. Ecco quattro innovazioni chiave nell'addestramento efficiente, nella progettazione dell'architettura e nella governance dei dati:
1. Uso pionieristico di un Transformer basato su RF per la generazione di forme 3D
Fin dai primi giorni dello sviluppo di Tripo 2.0, abbiamo scoperto che, rispetto ai tradizionali diffusion model, Rectified Flow offre un percorso lineare più diretto tra rumore e dati. Questo si traduce in un addestramento più stabile ed efficiente e, quando combinato con DiT, migliora significativamente la stabilità del modello.
2. Introduzione del primo MoE Transformer in 3D per una migliore scalabilità
Sebbene i MoE Transformer siano già stati utilizzati nei modelli linguistici, di immagine e video, TripoSG segna la prima applicazione efficiente nel dominio 3D. Questo approccio aumenta drasticamente la capacità parametrica del modello, soprattutto nei layer più profondi e critici, senza aggiungere un costo sostanziale di inferenza.
Inoltre, costruito sul framework Transformer, TripoSG incorpora miglioramenti chiave come le skip-connections per migliorare la fusione delle feature tra i layer. Un meccanismo indipendente di cross-attention inserisce inoltre in modo efficiente feature d'immagine globali (CLIP) e locali (DINOv2), garantendo un allineamento preciso tra le immagini 2D in input e le forme 3D generate.
3. Miglioramento della rappresentazione geometrica con un VAE di alta qualità e un'innovativa supervisione geometrica
Abbiamo perseguito costantemente rappresentazioni geometriche migliori. In TripoSG, abbiamo adottato un VAE che utilizza Signed Distance Functions (SDFs) per l'encoding geometrico, offrendo una precisione superiore rispetto alle occupancy grid precedentemente popolari. Inoltre, l'architettura VAE basata su Transformer generalizza in modo eccezionale tra diverse risoluzioni, gestendo input ad alta risoluzione senza necessità di riaddestramento.
4. Enfasi sulla governance dei dati con una pipeline completa di costruzione dei dati
Sia la qualità sia la quantità dei dati sono cruciali. VAST possiede la più ampia raccolta globale di dati 3D nativi di alta qualità e ha sviluppato una pipeline end-to-end di governance dei dati per la comunità open-source.
Il processo include: Quality Scoring → Data Filtering → Fixing & Augmentation → SDF Production
Utilizzando questa pipeline, abbiamo costruito un dataset di 2 milioni di coppie di addestramento "image-SDF" di alta qualità. Gli studi di ablation dimostrano chiaramente che i modelli addestrati su questo dataset raffinato superano significativamente quelli addestrati su dataset raw più grandi ma non filtrati.
TripoSF sblocca la generazione della struttura interna 3D: un tokenizer rivoluzionario raggiunge un nuovo SOTA nella generazione 3D
TripoSF è un modello 3D fondamentale sviluppato da VAST sulla base di una nuova rappresentazione 3D chiamata SparseFlex.
I test rivelano che i suoi risultati superano tutto il lavoro esistente, sia open-source sia closed-source. Stiamo rendendo open-source il modello VAE pre-addestrato e il relativo codice di inferenza per TripoSF, mentre la versione completa, "all-out", sarà svelata in Tripo 3.0.
TripoSF ridefinisce il "limite superiore della qualità del modello". Per la prima volta, il modello può generare non solo il "retro" di un oggetto, ma anche la sua "struttura interna" (come mostrato negli esempi del sedile dell'autobus e della cabina di guida).
Inoltre, mentre i lavori precedenti tendevano a generare indumenti o petali con geometrie eccessivamente spesse, TripoSF gestisce gli asset a superficie aperta con una finezza eccezionale.
La ricchezza dei dettagli in altre categorie di modelli è senza precedenti.
L'obiettivo principale nello sviluppo di TripoSF era superare i tradizionali colli di bottiglia della modellazione 3D legati a dettaglio, strutture complesse e scalabilità. I metodi passati spesso soffrivano di perdita di dettaglio durante il preprocessing, espressione inadeguata di geometrie complesse o costi esorbitanti di memoria e computazione ad alte risoluzioni. La nostra ricerca di un tokenizer capace di spingere i limiti della generazione 3D ha portato allo sviluppo di SparseFlex, un significativo passo avanti.
SparseFlex sfrutta i punti di forza di Flexicubes, che può estrarre mesh in modo differenziabile con caratteristiche nette, introducendo in modo innovativo una struttura voxel sparsa che memorizza e calcola le informazioni voxel solo in prossimità delle superfici degli oggetti. I vantaggi sono significativi:
- Uso della memoria significativamente ridotto: consente a TripoSF di addestrare ed eseguire inferenza ad alta risoluzione 1024³.
- Supporto nativo per topologie arbitrarie: omettendo i voxel nelle regioni vuote, rappresenta naturalmente superfici aperte (come tessuti e foglie) catturando efficacemente anche le strutture interne.
- Ottimizzazione diretta tramite rendering loss: SparseFlex è differenziabile, consentendo a TripoSF di utilizzare la rendering loss per l'addestramento end-to-end ed evitare il degrado dei dettagli causato dalla conversione dei dati (ad esempio, gli aggiustamenti di watertightness).
I risultati sperimentali indicano che TripoSF stabilisce un nuovo state-of-the-art. Su molteplici benchmark standard, TripoSF ha ottenuto una riduzione di circa l'82% nella Chamfer Distance e un miglioramento dell'88% nell'F-score rispetto ai metodi precedenti.
Risorse
【TripoSG 】
【 TripoSF 】
Ulteriori aggiornamenti e miglioramenti per i nostri progetti open-source saranno pubblicati tempestivamente sul GitHub ufficiale di VAST AI Research, HuggingFace e X (precedentemente Twitter):
Oltre a questi progetti open-source, gli strumenti disponibili su Tripo Web e la nostra API conveniente offrono un accesso fluido ai più recenti servizi di modello forniti da VAST.
Per qualsiasi suggerimento o collaborazione di natura tecnica o accademica, non esitare a contattarci a research@vastai3d.com.
Uno scanner non può catturare ogni crepaccio sul lato nascosto della luna, ma nella natura selvaggia ci sono sempre coloro che faticano nelle miniere. Il suono dei picconi che colpiscono la terra riecheggia senza sosta finché un giorno tutto si fonde in uno solo: una testimonianza potente del fatto che l'open source è come un piccone che colpisce il suolo, sul lato nascosto della luna dove non esiste alcuna mappa.
Esplora di più
- 3D Printer Ideas
- Where to Create 3D Prints Templates
- CAD 2D Drawing to 3D Web Animation
- 3D Model Ancient Human Form
