VAST Open Source Month | TripoSG & TripoSF, setzt einen neuen SOTA in der 3D-Generierung
Im März 2024 haben VAST und Stability AI gemeinsam das groß angelegte 3D-Modell TripoSR als Open Source veröffentlicht. Mit seiner revolutionären Fähigkeit, aus nur einem einzigen Bild in nur 0,5 Sekunden ein 3D-Modell zu generieren, wurde es schnell zum bevorzugten Tool für 3D-Creator weltweit.
Im selben Jahr verschoben Open-Source-Projekte weiterhin die Grenzen der AI-Branche und trieben das schnelle Wachstum sowohl in der akademischen Forschung als auch in kommerziellen Anwendungen voran.
VAST entwickelte seine Tripo-Serie weiter, indem im September 2024 Tripo 2.0 und im Januar 2025 Tripo 2.5 veröffentlicht wurden. Trainiert auf zig Millionen hochwertiger nativer 3D-Assets, erschlossen diese Iterationen konsequent neue Maßstäbe bei Generierungsgeschwindigkeit, Modellgenauigkeit und Gesamterfolg — jeweils mit außergewöhnlicher geometrischer Präzision, die die Grenzen der 3D-Modellerstellung neu definierte.
In unserem globalen Streben nach technologischem Fortschritt verstehen wir, dass disruptive Innovationen in grundlegenden Architekturen und Durchbrüche bei Modellfähigkeiten für Foundation-Model-Teams essenziell sind. Während wir Tripo in einer geschlossenen Umgebung kontinuierlich zu einer immer „perfekteren Lösung“ weiterentwickeln, glauben wir, dass es noch wichtiger ist, uns selbst in einen „grundlegenden Baustein“ innerhalb des Open-Source-Ökosystems zu verwandeln. Ein offenes technisches Ökosystem besitzt einen deutlich größeren langfristigen Wert als ein geschlossenes System.
Vor diesem Hintergrund haben wir im März 2025 unsere Initiative „Technology Open-Source Month“ gestartet.
Wir planen, nacheinander acht große Projekte aus der gesamten technischen Kette als Open Source zu veröffentlichen — von grundlegenden Generierungsmodellen und zentralen funktionalen Komponenten bis hin zur Erforschung innovativer Ideen. Unser Ziel ist es, das weltweit erste End-to-End-Open-Source-System für 3D-Generierung aufzubauen, und wir hoffen aufrichtig, dass Forschende und Entwickler im Bereich der 3D-Generierung unsere Arbeit sowohl inspirierend als auch wertvoll finden werden.
Jetzt veröffentlicht VAST zwei grundlegende 3D-Generierungsmodelle:
TripoSG und TripoSF.
Großes Upgrade für TripoSG: Die erste MoE-Transformer-Architektur in der 3D-Generierung
TripoSG ist ein grundlegendes 3D-Generierungsmodell, das auf einer auf Rectified Flow (RF) basierenden MoE-Transformer-Architektur aufbaut. In dieser Veröffentlichung stellen wir die Weights und den Inference-Code für das 1,5B-Parameter-Modell TripoSG als Open Source zur Verfügung, das über eine interaktive Demo auf HuggingFace ausprobiert werden kann.
Tests haben gezeigt, dass die Ausgabequalität von TripoSG auf dem Niveau von Tripo 2.0 liegt — und damit alle bestehenden Open-Source-Projekte zur 3D-Generierung übertrifft. Zu seinen herausragenden Vorteilen gehören eine exzellente Generalisierung und hohe Stabilität bei der Generierung komplexer zusammengesetzter Objekte.
Die Einhaltung des Scaling Law, die Nutzung hochwertigerer Daten und der Einsatz größerer Modelle bleiben die Schlüsselfaktoren hinter dem Erfolg von TripoSG. Hier sind vier zentrale Innovationen in effizientem Training, Architekturdesign und Data Governance:
1. Wegweisender Einsatz eines RF-basierten Transformers für die 3D-Formerzeugung
Schon in den frühen Tagen der Entwicklung von Tripo 2.0 entdeckten wir, dass Rectified Flow im Vergleich zu traditionellen Diffusionsmodellen einen geradlinigeren linearen Pfad zwischen Rauschen und Daten bietet. Das führt zu stabilerem und effizienterem Training — und in Kombination mit DiT verbessert es die Modellstabilität erheblich.
2. Einführung des ersten MoE-Transformers in 3D für bessere Skalierung
Obwohl MoE-Transformer bereits in Sprach-, Bild- und Videomodellen eingesetzt wurden, markiert TripoSG die erste effiziente Anwendung in der 3D-Domäne. Dieser Ansatz erhöht die Parameterkapazität des Modells dramatisch — insbesondere in den tieferen, kritischeren Schichten — ohne nennenswerte zusätzliche Inference-Kosten.
Darüber hinaus integriert TripoSG, basierend auf dem Transformer-Framework, wichtige Verbesserungen wie Skip-Connections zur besseren Merkmalsfusion über Schichten hinweg. Ein unabhängiger Cross-Attention-Mechanismus speist außerdem effizient globale (CLIP) und lokale (DINOv2) Bildmerkmale ein und sorgt so für eine präzise Ausrichtung zwischen Eingabe-2D-Bildern und den generierten 3D-Formen.
3. Verbesserung der geometrischen Repräsentation mit einem hochwertigen VAE und innovativer geometrischer Supervision
Wir haben kontinuierlich nach besseren geometrischen Repräsentationen gestrebt. In TripoSG setzen wir ein VAE ein, das Signed Distance Functions (SDFs) für die geometrische Kodierung verwendet, was eine höhere Präzision bietet als die zuvor beliebten Occupancy Grids. Darüber hinaus generalisiert die Transformer-basierte VAE-Architektur außergewöhnlich gut über verschiedene Auflösungen hinweg und verarbeitet hochauflösende Eingaben ohne erneutes Training.
4. Fokus auf Data Governance mit einer umfassenden Pipeline zur Datenerstellung
Sowohl Datenqualität als auch Datenmenge sind entscheidend. VAST verfügt weltweit über die größte Sammlung hochwertiger nativer 3D-Daten und hat für die Open-Source-Community eine End-to-End-Pipeline zur Data Governance entwickelt.
Der Prozess umfasst: Quality Scoring → Data Filtering → Fixing & Augmentation → SDF Production
Mithilfe dieser Pipeline haben wir einen Datensatz mit 2 Millionen hochwertigen „image-SDF“-Trainingspaaren aufgebaut. Ablation Studies zeigen eindeutig, dass Modelle, die auf diesem verfeinerten Datensatz trainiert wurden, deutlich besser abschneiden als solche, die auf größeren, ungefilterten Rohdatensätzen trainiert wurden.
TripoSF erschließt die Generierung interner 3D-Strukturen: Ein bahnbrechender Tokenizer erreicht einen neuen SOTA in der 3D-Generierung
TripoSF ist ein grundlegendes 3D-Modell, das von VAST auf Basis einer neuartigen 3D-Repräsentation namens SparseFlex entwickelt wurde.
Tests zeigen, dass seine Ergebnisse alle bestehenden Open-Source- und Closed-Source-Arbeiten übertreffen. Wir veröffentlichen das vortrainierte VAE-Modell und den zugehörigen Inference-Code für TripoSF als Open Source; die vollständige „all-out“-Version wird in Tripo 3.0 vorgestellt.
TripoSF definiert die „Obergrenze der Modellqualität“ neu. Zum ersten Mal kann das Modell nicht nur die „Rückseite“ eines Objekts, sondern auch seine „innere Struktur“ generieren (wie in den Beispielen mit Bussitz und Fahrerkabine zu sehen).
Außerdem erzeugten frühere Arbeiten Kleidung oder Blütenblätter oft mit übermäßig dicken Geometrien, während TripoSF Open-Surface-Assets mit außergewöhnlicher Finesse verarbeitet.
Sein Detailreichtum in anderen Modellkategorien ist beispiellos.
Das Hauptziel bei der Entwicklung von TripoSF war es, die traditionellen Engpässe in der 3D-Modellierung in Bezug auf Details, komplexe Strukturen und Skalierbarkeit zu durchbrechen. Frühere Methoden litten häufig unter Detailverlust während des Preprocessing, unzureichender Darstellung komplexer Geometrien oder exorbitanten Speicher- und Rechenkosten bei hohen Auflösungen. Unsere Suche nach einem Tokenizer, der die Grenzen der 3D-Generierung verschieben kann, führte zur Entwicklung von SparseFlex — ein bedeutender Schritt nach vorn.
SparseFlex nutzt die Stärken von Flexicubes — die differenzierbar Meshes mit scharfen Merkmalen extrahieren können — und führt gleichzeitig innovativ eine sparse Voxelstruktur ein, die Voxelinformationen nur in der Nähe von Objektoberflächen speichert und berechnet. Die Vorteile sind erheblich:
- Deutlich reduzierter Speicherverbrauch: Ermöglicht TripoSF Training und Inference bei einer hohen Auflösung von 1024³.
- Native Unterstützung für beliebige Topologien: Durch das Weglassen von Voxeln in leeren Regionen repräsentiert es auf natürliche Weise offene Oberflächen (wie Stoffe und Blätter) und erfasst gleichzeitig effektiv innere Strukturen.
- Direkte Optimierung über Rendering Loss: SparseFlex ist differenzierbar, sodass TripoSF Rendering Loss für End-to-End-Training verwenden kann und eine durch Datenkonvertierung verursachte Detailverschlechterung vermeidet (z. B. Anpassungen der Watertightness).
Experimentelle Ergebnisse zeigen, dass TripoSF einen neuen State of the Art setzt. Auf mehreren Standard-Benchmarks erreichte TripoSF im Vergleich zu früheren Methoden eine Reduktion der Chamfer Distance um etwa 82 % sowie eine Verbesserung des F-score um 88 %.
Ressourcen
【TripoSG 】
【 TripoSF 】
Weitere Updates und Verbesserungen für unsere Open-Source-Projekte werden zeitnah auf dem offiziellen GitHub, HuggingFace und X (ehemals Twitter) von VAST AI Research veröffentlicht:
Zusätzlich zu diesen Open-Source-Projekten bieten die auf dem Tripo Web verfügbaren Tools und unsere kosteneffiziente API nahtlosen Zugang zu den neuesten von VAST bereitgestellten Model-Services.
Für technische oder akademische Anregungen und Kooperationen kontaktieren Sie uns gerne unter research@vastai3d.com.
Ein Scanner kann nicht jede Spalte auf der fernen Seite des Mondes erfassen, doch in der Wildnis gibt es immer jene, die in den Minen schuften. Das Geräusch der Spitzhacken, die auf die Erde treffen, hallt unaufhörlich wider, bis es eines Tages zu einem Ganzen verschmilzt — ein kraftvolles Zeugnis dafür, dass Open Source wie eine Spitzhacke ist, die auf den Boden trifft, auf der fernen Seite des Mondes, wo keine Karte existiert.
Mehr entdecken
- 3D Printer Ideas
- Where to Create 3D Prints Templates
- CAD 2D Drawing to 3D Web Animation
- 3D Model Ancient Human Form
