CVPR 2025|Tripo AI und die Beihang University machen MIDI als Open Source verfügbar: Generierung kompositioneller 3D-Szenen aus einem einzelnen Bild

Diese Arbeit wird von Forschern von VAST, der Beihang University, der Tsinghua University und der University of Hong Kong geleitet. Der Erstautor ist Zehuan Huang, ein Masterstudent an der Beihang University, dessen Forschung sich auf generative AI und 3D vision konzentriert. Die korrespondierenden Autoren sind Yanpei Cao, Chief Scientist bei VAST, und Lv Sheng, Associate Professor an der Beihang University.

Seit Sora eine Revolution bei World Models ausgelöst hat, werden 3D-Szenen als digitales Fundament der physischen Welt zu einer kritischen Infrastruktur für den Aufbau dynamischer und interaktiver AI-Systeme. Aktuelle Durchbrüche bei der Generierung von 3D-Assets aus einzelnen Bildern haben die elementare Fähigkeit „von der Vorstellung zu 3D“ für die Erstellung von 3D-Inhalten bereitgestellt.

Da sich die Technologie jedoch in Richtung Generierung zusammengesetzter Szenen weiterentwickelt, werden die Grenzen von Paradigmen der Einzelobjekt-Generierung deutlich. Bestehende Methoden erzeugen 3D-Assets wie verstreute „digitale Atome“ und haben Schwierigkeiten, sich selbst zu „molekularen Strukturen“ mit sinnvollen räumlichen Beziehungen zu organisieren. Dies führt zu mehreren zentralen Herausforderungen: ① Dilemma der Instanztrennung (wie sich überlappende Objekte aus einer einzelnen Ansicht präzise entkoppeln lassen); ② Modellierung physikalischer Beschränkungen (wie unrealistische Überschneidungen und Kollisionen vermieden werden können); ③ semantisches Verständnis auf Szenenebene (wie die Konsistenz zwischen Objektfunktion und räumlichem Layout erhalten bleibt). Diese Engpässe behindern die effiziente Konstruktion „interaktiver Welten“ aus „digitalen Atomen“ erheblich.

Kürzlich stellte ein Forschungsteam der Beihang University, von VAST und weiteren Institutionen ein neuartiges Modell vor – MIDI –, das aus einzelnen Bildern 3D-Kompositszenen mit hoher geometrischer Qualität und trennbaren Instanzen erzeugen kann. Damit gelingt ein Durchbruch bei der 3D-Szenengenerierung aus Einzelansichten und es wird die Grundlage für die Generierung interaktiver Welten gelegt.

Paper: https://arxiv.org/abs/2412.03558
Projektseite: https://huanngzh.github.io/MIDI-Page/
Code: https://github.com/VAST-AI-Research/MIDI-3D
Online-Demo: https://huggingface.co/spaces/VAST-AI/MIDI-3D

Technologischer Durchbruch

Traditionelle Techniken zur Rekonstruktion kompositioneller 3D-Szenen basieren häufig auf mehrstufiger, objektweiser Generierung und Szenenoptimierung, was zu langwierigen Prozessen führt und oft Szenen mit geringer geometrischer Qualität und ungenauen räumlichen Layouts erzeugt. Um diese Probleme zu lösen, nutzt MIDI (Multi-Instance Diffusion Model) auf innovative Weise 3D-Objektgenerierungsmodelle und erweitert sie zu einem Multi-Instance-Diffusion-Model, das mehrere 3D-Instanzen mit präzisen räumlichen Beziehungen gleichzeitig erzeugen kann und so eine effiziente und hochwertige Generierung von 3D-Szenen ermöglicht:

Vom Einzelobjekt zur Multi-Instance-Generierung: Durch das gleichzeitige Denoising der latenten Repräsentationen mehrerer 3D-Instanzen und die Einführung von Interaktionen zwischen Multi-Instance-Tokens während des Denoising-Prozesses erweitert MIDI 3D-Objektgenerierungsmodelle so, dass sie mehrere Instanzen gleichzeitig mit Interaktionsmodellierung erzeugen können, die anschließend direkt zu einer 3D-Szene kombiniert werden.
Multi-Instance-Self-Attention-Mechanismus: Durch die Erweiterung des Self-Attention-Mechanismus von Objektgenerierungsmodellen zu einer Multi-Instance-Self-Attention erfasst MIDI während des Generierungsprozesses effektiv räumliche Korrelationen zwischen Instanzen und die Kohärenz der Gesamtszene, sodass keine Optimierung pro Szene erforderlich ist.
Datenaugmentation während des Trainings: Durch die Überwachung der Interaktion zwischen 3D-Instanzen mithilfe begrenzter Szenendaten und die gleichzeitige Erweiterung des Trainings mit Objektdaten modelliert MIDI Szenenlayouts effektiv und bewahrt dabei die Generalisierungsfähigkeit des Pre-Trainings.

Generierte Ergebnisse

Auf Basis eines einzelnen Bildes kann MIDI hochwertige kompositionelle 3D-Szenen erzeugen:

Online-Demo

Überlegene Leistung

MIDI zeichnet sich durch präzise Modellierung räumlicher Layouts, überlegene geometrische Generierungsqualität, Generierungseffizienz und breite Anwendbarkeit aus. Experimentelle Ergebnisse zeigen, dass das Modell bestehende Methoden auf mehreren Datensätzen übertrifft und eine hervorragende Leistung bei räumlichen Beziehungen von 3D-Instanzen, der geometrischen Qualität von 3D-Instanzen und der End-to-End-Generierungsgeschwindigkeit erreicht.

Anwendungen: Ein neues Tool für die Erstellung von 3D-Szeneninhalten

MIDI bietet eine neuartige Lösung für die Erstellung von 3D-Szenen. Diese Technologie zeigt großes Potenzial in verschiedenen Bereichen wie Architekturdesign, Virtual Reality, visuellen Effekten im Film und Spieleentwicklung. Mit seinen Fähigkeiten zur hochpräzisen Generierung von 3D-Szenen mit hoher geometrischer Qualität kann MIDI den Bedarf an hochwertigen Inhalten in komplexen Szenen erfüllen und Kreativen mehr Möglichkeiten bieten.

Tripo: AI-gestützter 3D-Model Generator

Während MIDI die Komposition von 3D-Szenen revolutioniert, verbessert Tripo die Erstellung einzelner Assets mit hochmodernen AI-Fähigkeiten:

Ein einzelnes Bild zu einem 3D-Modell

Konvertieren Sie ein einzelnes 2D-Bild sofort in ein hochwertiges 3D-Modell.
AI-gestützte Rekonstruktion sorgt für präzise Form und Textur.
Ideal für schnelles Prototyping und Konzeptvisualisierung.

Mehrere Bilder zu einem 3D-Modell

Verwenden Sie mehrere Bilder aus verschiedenen Blickwinkeln für bessere Tiefe und mehr Details.
Verbessert geometrische Genauigkeit und Realismus.
Perfekt für präzise Objektmodellierung und Produktdesign.

Text zu 3D-Modell

Generieren Sie 3D-Modelle aus einfachen Textbeschreibungen.
AI interpretiert Prompts, um detaillierte, kreative Assets zu erstellen.
Beschleunigt die Konzeptgenerierung für Games, VR und Animation.

Auto Rigging & Animation

Riggt Modelle sofort für Animationen mit minimalem Aufwand.
AI-gesteuerte Generierung von Knochenstruktur und Bewegungen.
Macht Modelle game-ready für eine nahtlose Integration.

Zukünftige Arbeiten

Trotz der hervorragenden Leistung des Modells erkennt das MIDI-Entwicklungsteam an, dass es noch viele Bereiche für Verbesserungen und weitere Erforschung gibt. So sind beispielsweise die weitere Optimierung der Anpassungsfähigkeit an komplexe interaktive Szenen und die Verbesserung der Detailgenauigkeit bei der Objekterzeugung zentrale Schwerpunkte künftiger Arbeiten. Das Team hofft, dass diese Forschungsrichtung durch kontinuierliche Verbesserung und Verfeinerung nicht nur den Fortschritt der Technologie zur Generierung zusammengesetzter 3D-Szenen aus Einzelansichten vorantreibt, sondern auch zur breiten Einführung von 3D-Technologie in praktischen Anwendungen beiträgt.