Einführung von HoloPart: Vollständige, bearbeitbare Teile für jede 3D-Form generieren
Wir machen HoloPart als Open Source verfügbar, ein neues generatives Modell, das 3D-Formen Komponente für Komponente versteht und leistungsstarke Workflows für Bearbeitung, Animation und Erstellung ermöglicht.
Haben Sie schon einmal versucht, ein 3D-Modell zu bearbeiten, das online heruntergeladen, aus Scans erfasst oder von AI generiert wurde? Oft sind sie einzelne „Klumpen“ aus Geometrie, was es unglaublich schwierig macht, einzelne Komponenten wie das Bein eines Stuhls oder die Brille einer Figur anzupassen, zu animieren oder neu zu texturieren. Bestehende 3D-Part-Segmentierungstechniken können sichtbare Oberflächenbereiche identifizieren, die zu verschiedenen Teilen gehören, hinterlassen jedoch beschädigte, unvollständige Stücke (Abbildung 1a). Das schränkt ihre Nützlichkeit für die reale Content-Erstellung grundlegend ein.
Heute freuen wir uns, HoloPart vorzustellen, einen neuen Ansatz und ein Open-Source-Projekt, das sich dieser Herausforderung direkt stellt. HoloPart führt die Aufgabe der 3D Part Amodal Segmentation ein: die Zerlegung einer 3D-Form nicht nur in sichtbare Bereiche, sondern in ihre zugrunde liegenden vollständigen, semantisch bedeutungsvollen Teile, wobei sogar durch Verdeckung verborgene Geometrie erschlossen wird (Abbildung 1b).
Im Kern von HoloPart steht ein neuartiges diffusion-basiertes generatives Modell, das wir entwickelt haben. Wir veröffentlichen heute den Code, vortrainierte HoloPart-Modelle und eine interaktive Demo und laden die Community ein, auf dieser Arbeit aufzubauen.
Entwickler können es auf Hugging Face ausprobieren.
Das Problem: Beschädigte Teile bremsen die 3D-Erstellung aus
Photogrammetrie-Scans, generative Modelle und sogar viele von Menschen erstellte Assets verfügen oft nicht über eine interne Teile-Struktur. Während Methoden wie SAMPart3D die Oberfläche eines 3D-Modells intelligent segmentieren können, können sie nicht „durch“ das Objekt hindurchsehen. Wenn Sie mit diesen Methoden einen Ring segmentieren, erhalten Sie die sichtbare Außenfläche des Edelsteins und des Rings, aber nicht die vollständige Form des Edelsteins oder das komplette Ringband dort, wo sie sich schneiden oder verdeckt sind.
Diese Einschränkung ist ein großer Engpass für:
- Geometriebearbeitung: Sie können die Räder eines Automodells nicht einfach nur in der Größe verändern, wenn sie mit der Karosserie verschmolzen oder unvollständig sind.
- Animation: Das Rigging und Animieren von Teilen erfordert, dass sie vollständige Objekte sind.
- Materialzuweisung: Das Anwenden unterschiedlicher Materialien erfordert oft saubere, vollständige Teilegrenzen.
- Prozedurale Generierung & Asset-Remixing: Das Erstellen von Varianten oder das Kombinieren von Teilen erfordert klar definierte, vollständige Komponenten.
Unsere Lösung: Mit HoloPart das gesamte Teil sehen
Inspiriert vom Konzept der amodalen Wahrnehmung (unserer Fähigkeit, ganze Objekte wahrzunehmen, auch wenn sie teilweise verborgen sind), führt das HoloPart-Projekt 3D Part Amodal Segmentation ein. Wir erreichen dies durch einen praktischen zweistufigen Ansatz:
- Initiale Segmentierung: Zunächst nutzen wir eine bestehende State-of-the-Art-Methode (wie SAMPart3D), um die anfänglichen Oberflächenbereiche zu erhalten (die unvollständigen Teile).
- Teil-Vervollständigung mit HoloPart: Hier geschieht die Magie. Wir geben das unvollständige Teilsegment zusammen mit dem Kontext der gesamten Form in unser neuartiges HoloPart-Modell ein. HoloPart, basierend auf einer leistungsstarken diffusion transformer-Architektur, generiert dann die vollständige, plausible 3D-Geometrie für dieses Teil.
So funktioniert HoloPart:
HoloPart ist nicht einfach nur „Löcher füllen“. Aufbauend auf dem starken generativen Prior unseres TripoSG foundation model nutzt es ein tiefes Verständnis von 3D-Geometrie, das durch umfangreiches Vortraining auf großen Datensätzen (wie Objaverse) und spezialisiertes Fine-Tuning auf Teil-Ganzes-Daten gelernt wurde. HoloPart adaptiert die leistungsstarke diffusion transformer-Architektur von TripoSG für die spezifische Aufgabe der Teilvervollständigung. Seine wichtigste Innovation liegt in einem dualen Attention-Mechanismus:
- Lokale Attention: Konzentriert sich intensiv auf die feingranularen geometrischen Details des eingegebenen Oberflächenbereichs, um sicherzustellen, dass sich das vervollständigte Teil nahtlos in die sichtbare Geometrie einfügt.
- Kontextbewusste Attention: Betrachtet die gesamte Form und die Position des Teils darin. Dieser entscheidende Schritt stellt sicher, dass das vervollständigte Teil global sinnvoll ist – mit stimmigen Proportionen, semantischer Bedeutung und allgemeiner Formkonsistenz.
Dies ermöglicht es HoloPart, verborgene Geometrie intelligent zu rekonstruieren, selbst bei komplexen Teilen oder starker Verdeckung, und dabei die Gesamtstruktur des Objekts zu respektieren.
Ergebnisse: Vollständige Teile, einsatzbereit
Wir haben neue Benchmarks mit den Datensätzen ABO und PartObjaverse-Tiny etabliert, um diese neuartige Aufgabe zu bewerten, die im HoloPart-Projekt definiert wurde. Unsere Experimente zeigen, dass HoloPart bestehende State-of-the-Art-Methoden zur Form-Vervollständigung bei Anwendung auf diese anspruchsvolle Teil-Vervollständigungsaufgabe deutlich übertrifft.
Qualitativ ist der Unterschied klar: Wo andere Methoden bei komplexen Strukturen oft scheitern oder inkohärente Ergebnisse erzeugen, generiert HoloPart konsistent vollständige, hochpräzise Teile, die sich hervorragend an die ursprüngliche Form anpassen.
Downstream-Anwendungen erschließen
Durch die Generierung vollständiger Teile erschließt HoloPart eine Reihe leistungsstarker Anwendungen, die bisher nur schwer oder gar nicht automatisch möglich waren:
- Intuitive Bearbeitung: Vollständige Teile einfach greifen, in der Größe verändern, verschieben oder ersetzen (wie das Ringbeispiel in Abb. 1 oder die Auto-Bearbeitungen in Abb. 4a).
- Mühelose Materialzuweisung: Texturen oder Materialien sauber auf ganze Komponenten anwenden (Abb. 1, Abb. 4c).
- Animationsbereite Assets: Teile generieren, die sich für Rigging und Animation eignen.
- Intelligentere Geometrieverarbeitung: Robusteres Remeshing und andere Geometrieoperationen ermöglichen, indem auf kohärenten Teilen gearbeitet wird (Abb. 4b).
- Teilbewusste Generierung: Diese Arbeit schafft eine Grundlage für zukünftige generative Modelle, die 3D-Formen auf Teilebene erstellen oder manipulieren können.
- Geometrische Super-Resolution: HoloPart zeigt sogar Potenzial zur Verbesserung von Teiledetails, indem Teile mit hohen Token-Zahlen repräsentiert werden (Abb. 5).
Erste Schritte mit HoloPart
Wir glauben, dass 3D Part Amodal Segmentation, wie sie im HoloPart-Projekt erforscht wird, ein entscheidender Schritt hin zu einer intuitiveren und leistungsfähigeren 3D-Content-Erstellung ist. Wir veröffentlichen HoloPart unter einer Open-Source-Lizenz, um Forschende und Entwickler zu stärken.
Wir freuen uns darauf zu sehen, was die Community mit diesen Tools entwickelt. Tauchen Sie ein, experimentieren Sie und lassen Sie uns wissen, was Sie denken!
