CVPR 2025|Tripo AI e Beihang University rendono open-source MIDI: generazione di scene 3D compositive da una singola immagine

Questo lavoro è guidato da ricercatori di VAST, Beihang University, Tsinghua University e University of Hong Kong. Il primo autore è Zehuan Huang, uno studente di Master presso Beihang University, la cui ricerca si concentra sulla AI generativa e sulla visione 3D. Gli autori corrispondenti sono Yanpei Cao, Chief Scientist di VAST, e Lv Sheng, Professore Associato presso Beihang University.

Con Sora che sta innescando una rivoluzione nei world models, le scene 3D, in quanto fondamento digitale del mondo fisico, stanno diventando un'infrastruttura critica per costruire sistemi di AI dinamici e interattivi. Gli attuali progressi nella generazione di asset 3D da singole immagini hanno fornito la capacità atomica del "dall'immaginazione al 3D" per la creazione di contenuti 3D.

Tuttavia, con l'evoluzione della tecnologia verso la generazione di scene composite, i limiti dei paradigmi di generazione di singoli oggetti diventano evidenti. I metodi esistenti generano asset 3D come "atomi digitali" sparsi, con difficoltà ad auto-organizzarsi in "strutture molecolari" con relazioni spaziali ragionevoli. Ciò porta a diverse sfide fondamentali: ① dilemma della separazione delle istanze (come disaccoppiare accuratamente oggetti sovrapposti da una singola vista); ② modellazione dei vincoli fisici (come evitare intersezioni e collisioni irrealistiche); ③ comprensione semantica a livello di scena (come mantenere la coerenza tra la funzione dell'oggetto e il layout spaziale). Questi colli di bottiglia ostacolano gravemente la costruzione efficiente di "mondi interattivi" a partire da "atomi digitali".

Recentemente, un team di ricerca di Beihang University, VAST e altre istituzioni ha introdotto un nuovo modello – MIDI – in grado di generare scene 3D composite da immagini singole con alta qualità geometrica e istanze separabili, ottenendo un progresso decisivo nella generazione di scene 3D da vista singola e ponendo le basi per la generazione di mondi interattivi.

Paper: https://arxiv.org/abs/2412.03558
Pagina del progetto: https://huanngzh.github.io/MIDI-Page/
Codice: https://github.com/VAST-AI-Research/MIDI-3D
Demo online: https://huggingface.co/spaces/VAST-AI/MIDI-3D

Innovazione tecnologica

Le tecniche tradizionali di ricostruzione di scene 3D compositive si basano spesso su processi multi-stadio, con generazione oggetto per oggetto e ottimizzazione della scena, con il risultato di procedure lunghe e scene spesso caratterizzate da bassa qualità geometrica e layout spaziali imprecisi. Per affrontare questi problemi, MIDI (Multi-Instance Diffusion Model) sfrutta in modo innovativo i modelli di generazione di oggetti 3D, estendendoli in un modello di diffusione multi-istanza capace di generare simultaneamente più istanze 3D con relazioni spaziali precise, ottenendo una generazione di scene 3D efficiente e di alta qualità:

Da singolo oggetto a generazione multi-istanza: denoising simultaneo delle rappresentazioni latenti di più istanze 3D e introduzione di interazioni tra token multi-istanza durante il processo di denoising: MIDI estende i modelli di generazione di oggetti 3D per generare simultaneamente più istanze con modellazione delle interazioni, che vengono poi combinate direttamente in una scena 3D.
Meccanismo di self-attention multi-istanza: estendendo il meccanismo di self-attention dei modelli di generazione di oggetti alla self-attention multi-istanza, MIDI cattura efficacemente le correlazioni spaziali tra le istanze e la coerenza della scena complessiva durante il processo di generazione, eliminando la necessità di ottimizzazione per singola scena.
Data augmentation durante il training: supervisionando l'interazione tra istanze 3D tramite dati di scena limitati e al contempo aumentando il training con dati di oggetti, MIDI modella efficacemente i layout di scena mantenendo le capacità di generalizzazione del pre-training.

Risultati generati

Basandosi su una singola immagine, MIDI può generare scene 3D compositive di alta qualità:

Demo online

Prestazioni superiori

MIDI si distingue per la modellazione precisa del layout spaziale, l'eccellente qualità della generazione geometrica, l'efficienza di generazione e l'ampia applicabilità. I risultati sperimentali dimostrano che il modello supera i metodi esistenti su più dataset, ottenendo prestazioni eccellenti nelle relazioni spaziali tra istanze 3D, nella qualità geometrica delle istanze 3D e nella velocità di generazione end-to-end.

Applicazioni: un nuovo strumento per la creazione di contenuti di scene 3D

MIDI offre una nuova soluzione per la creazione di scene 3D. Questa tecnologia mostra un grande potenziale in vari settori come progettazione architettonica, realtà virtuale, effetti speciali cinematografici e sviluppo di videogiochi. Grazie alle sue capacità di generazione di scene 3D ad alta precisione e alta qualità geometrica, MIDI può soddisfare la domanda di contenuti di alta qualità in scene complesse, offrendo ai creatori maggiori possibilità.

Tripo: generatore di modelli 3D basato su AI

Mentre MIDI rivoluziona la composizione di scene 3D, Tripo migliora la creazione di singoli asset con capacità AI all'avanguardia:

Da immagine singola a modello 3D

Converti istantaneamente una singola immagine 2D in un modello 3D di alta qualità.
La ricostruzione basata su AI garantisce forma e texture accurate.
Ideale per prototipazione rapida e visualizzazione di concept.

Da più immagini a modello 3D

Usa più immagini da diverse angolazioni per ottenere maggiore profondità e dettaglio.
Migliora accuratezza geometrica e realismo.
Perfetto per modellazione precisa di oggetti e product design.

Da testo a modello 3D

Genera modelli 3D a partire da semplici descrizioni testuali.
L'AI interpreta i prompt per creare asset dettagliati e creativi.
Accelera la generazione di concept per giochi, VR e animazione.

Auto Rigging & Animation

Applica istantaneamente il rig ai modelli per l'animazione con il minimo sforzo.
Struttura ossea e generazione del movimento guidate da AI.
Rende i modelli pronti per il game, per un'integrazione senza interruzioni.

Sviluppi futuri

Nonostante le eccellenti prestazioni del modello, il team di sviluppo di MIDI riconosce che esistono ancora molte aree di miglioramento ed esplorazione. Ad esempio, l'ulteriore ottimizzazione dell'adattabilità a scene interattive complesse e il miglioramento del livello di dettaglio nella generazione degli oggetti sono aspetti chiave su cui si concentreranno gli sforzi futuri. Il team spera che, attraverso un miglioramento e un affinamento continui, questa direzione di ricerca non solo favorisca l'avanzamento della tecnologia di generazione di scene 3D composite da vista singola, ma contribuisca anche all'adozione diffusa della tecnologia 3D nelle applicazioni pratiche.