CVPR 2025|Tripo AI et Beihang University open source MIDI : génération de scènes 3D compositionnelles à partir d’une seule image

Ce travail est dirigé par des chercheurs de VAST, Beihang University, Tsinghua University et the University of Hong Kong. Le premier auteur est Zehuan Huang, étudiant en Master à Beihang University, dont les recherches portent sur l’AI générative et la vision 3D. Les auteurs correspondants sont Yanpei Cao, Chief Scientist chez VAST, et Lv Sheng, Associate Professor à Beihang University.

Alors que Sora déclenche une révolution dans les world models, les scènes 3D, en tant que socle numérique du monde physique, deviennent une infrastructure essentielle pour construire des systèmes d’AI dynamiques et interactifs. Les avancées actuelles dans la génération d’assets 3D à partir d’images uniques ont fourni la capacité atomique du « de l’imagination à la 3D » pour la création de contenu 3D.

Cependant, à mesure que la technologie évolue vers la génération de scènes composites, les limites des paradigmes de génération d’objets uniques deviennent évidentes. Les méthodes existantes génèrent des assets 3D comme des « atomes numériques » dispersés, qui peinent à s’auto-organiser en « structures moléculaires » avec des relations spatiales cohérentes. Cela entraîne plusieurs défis majeurs : ① Dilemme de séparation des instances (comment découpler avec précision des objets qui se chevauchent à partir d’une seule vue) ; ② Modélisation des contraintes physiques (comment éviter les intersections et collisions irréalistes) ; ③ Compréhension sémantique au niveau de la scène (comment maintenir la cohérence entre la fonction des objets et leur disposition spatiale). Ces goulets d’étranglement entravent fortement la construction efficace de « mondes interactifs » à partir d’« atomes numériques ».

Récemment, une équipe de recherche de Beihang University, VAST et d’autres institutions a présenté un nouveau modèle — MIDI — capable de générer, à partir d’une seule image, des scènes 3D composites de haute qualité géométrique avec des instances séparables, réalisant une avancée majeure dans la génération de scènes 3D à vue unique et posant les bases de la génération de mondes interactifs.

• Article : https://arxiv.org/abs/2412.03558
• Page du projet : https://huanngzh.github.io/MIDI-Page/
• Code : https://github.com/VAST-AI-Research/MIDI-3D
• Démo en ligne : https://huggingface.co/spaces/VAST-AI/MIDI-3D

Avancée technologique

Les techniques traditionnelles de reconstruction de scènes 3D compositionnelles reposent souvent sur une génération multi-étapes, objet par objet, ainsi que sur l’optimisation de la scène, ce qui entraîne des processus longs et produit souvent des scènes de faible qualité géométrique avec des dispositions spatiales imprécises. Pour résoudre ces problèmes, MIDI (Multi-Instance Diffusion Model) exploite de manière innovante les modèles de génération d’objets 3D, en les étendant à un modèle de diffusion multi-instance capable de générer simultanément plusieurs instances 3D avec des relations spatiales précises, permettant ainsi une génération de scènes 3D efficace et de haute qualité :

1. Du mono-objet à la génération multi-instance : En débruitant simultanément les représentations latentes de plusieurs instances 3D et en introduisant des interactions entre les tokens multi-instances pendant le processus de débruitage, MIDI étend les modèles de génération d’objets 3D afin de générer simultanément plusieurs instances avec modélisation des interactions, qui sont ensuite directement combinées en une scène 3D.
2. Mécanisme d’auto-attention multi-instance : En étendant le mécanisme d’auto-attention des modèles de génération d’objets à une auto-attention multi-instance, MIDI capture efficacement les corrélations spatiales entre les instances ainsi que la cohérence de la scène globale pendant le processus de génération, éliminant ainsi le besoin d’optimisation scène par scène.
3. Augmentation des données pendant l’entraînement : En supervisant l’interaction entre les instances 3D à l’aide d’un volume limité de données de scène tout en enrichissant l’entraînement avec des données d’objets, MIDI modélise efficacement les dispositions de scène tout en conservant les capacités de généralisation du pré-entraînement.

Résultats générés

À partir d’une seule image, MIDI peut générer des scènes 3D compositionnelles de haute qualité :

Démo en ligne

Performances supérieures

MIDI se distingue par sa modélisation précise des dispositions spatiales, sa qualité supérieure de génération géométrique, son efficacité de génération et sa large applicabilité. Les résultats expérimentaux montrent que le modèle surpasse les méthodes existantes sur plusieurs jeux de données, obtenant d’excellentes performances en matière de relations spatiales entre instances 3D, de qualité géométrique des instances 3D et de vitesse de génération de bout en bout.

Applications : un nouvel outil pour la création de contenu de scènes 3D

MIDI propose une solution inédite pour la création de scènes 3D. Cette technologie montre un fort potentiel dans divers domaines tels que la conception architecturale, la réalité virtuelle, les effets spéciaux au cinéma et le développement de jeux. Grâce à ses capacités de génération de scènes 3D de haute précision et de haute qualité géométrique, MIDI peut répondre à la demande de contenu de haute qualité dans des scènes complexes, offrant davantage de possibilités aux créateurs.

Tripo : générateur de modèles 3D propulsé par l’AI

Alors que MIDI révolutionne la composition de scènes 3D, Tripo améliore la création d’assets individuels grâce à des capacités d’AI de pointe :

D’une image unique à un modèle 3D

• Convertissez instantanément une seule image 2D en un modèle 3D de haute qualité.
• La reconstruction propulsée par l’AI garantit une forme et une texture précises.
• Idéal pour le prototypage rapide et la visualisation de concepts.

De plusieurs images à un modèle 3D

• Utilisez plusieurs images sous différents angles pour obtenir une meilleure profondeur et plus de détails.
• Améliore la précision géométrique et le réalisme.
• Parfait pour la modélisation d’objets précise et le design produit.

Du texte au modèle 3D

• Générez des modèles 3D à partir de simples descriptions textuelles.
• L’AI interprète les prompts pour créer des assets détaillés et créatifs.
• Accélère la génération de concepts pour les jeux, la VR et l’animation.

Auto Rigging & animation

• Riggez instantanément des modèles pour l’animation avec un minimum d’effort.
• Structure osseuse et génération de mouvement pilotées par l’AI.
• Rend les modèles prêts pour les jeux afin d’assurer une intégration fluide.

Travaux futurs

Malgré les excellentes performances du modèle, l’équipe de développement de MIDI reconnaît qu’il reste encore de nombreux axes d’amélioration et d’exploration. Par exemple, l’optimisation supplémentaire de l’adaptabilité aux scènes interactives complexes et l’amélioration du niveau de détail dans la génération d’objets figurent parmi les priorités des futurs travaux. L’équipe espère qu’à travers une amélioration et un perfectionnement continus, cette direction de recherche favorisera non seulement les avancées de la technologie de génération de scènes 3D composites à vue unique, mais contribuera également à l’adoption généralisée de la technologie 3D dans des applications concrètes.