Tripo Doodle (TripoSG Scribble): 3D-Ideen mit Skizze und Text sofort zum Leben erwecken

Auf der „Real-Time LIVE!" der SIGGRAPH Asia 2024 stellte VAST (Tripo) Tripo Doodle vor (intern intern als TripoSG Scribble bezeichnet), ein interaktives Tool, das einfache 2D-Skizzen und Text-Prompts in Echtzeit in detaillierte 3D-Modelle verwandelt. Traditionelles 3D-Modeling ist oft mit steilen Lernkurven und einem erheblichen Zeitaufwand verbunden, insbesondere in den frühen Phasen des Blockings von Formen. Tripo Doodle senkt diese Hürde drastisch und bietet einen intuitiven, blitzschnellen Workflow, der sowohl erfahrene Profis als auch Neueinsteiger dazu befähigt, 3D-Konzepte mit beispielloser Leichtigkeit zu visualisieren und zu iterieren. Wie live demonstriert wurde, können Nutzer sich buchstäblich ihren Weg zu 3D-Assets „kritzeln“ und ihre kreative Energie auf die Idee statt auf komplexe Tools konzentrieren.

VAST (Tripo) freut sich, die Open-Source-Veröffentlichung zentraler Komponenten und Erkenntnisse dahinter bekannt zu geben.

Was ist Tripo Doodle? Von der SIGGRAPH-Bühne direkt in Ihre Hände

Tripo Doodle ist eine neue Benutzeroberfläche, die entwickelt wurde, um den 3D-Erstellungsprozess radikal zu vereinfachen und zu beschleunigen. Sie ermöglicht es Nutzern:

1. Intuitiv zu skizzieren: Einfache 2D-Formen und Linien auf einer Leinwand zu zeichnen.
2. Text-Prompts hinzuzufügen: Über Text semantischen Kontext oder spezifische Attribute bereitzustellen.
3. Sofort zu generieren: Zu sehen, wie auf Basis dieser Eingaben in Echtzeit ein detailliertes 3D-Modell erscheint und aktualisiert wird.

Bei seinem Debüt auf der SIGGRAPH Asia 2024 Real-Time LIVE! begeisterte Tripo Doodle das Publikum, indem es eine Zukunft zeigte, in der 3D-Modeling so flüssig und zugänglich ist wie Kritzeln. Es adressiert direkt die oft steile Lernkurve und die zeitaufwendige Natur traditioneller 3D-Workflows, insbesondere in der anfänglichen Asset-Blocking-Phase, und befähigt Kreative dazu, sich ganz auf ihre Ideen zu konzentrieren.

Kerntechnologie: Erweiterung von TripoSG für Echtzeit-Interaktion

Tripo Doodle wurde nicht von Grund auf neu entwickelt; es nutzt die Leistungsfähigkeit von VASTs hochmodernem TripoSG-Foundation-Model und erweitert es um spezifische Innovationen für multimodale Echtzeit-Interaktion:

1. TripoSG-Basismodell: Die zugrunde liegende Engine ist TripoSG, ein Image-to-3D-Shape-Generation-Model. Es ermöglicht die hochpräzise Generierung von 3D-Meshes direkt aus Konditionierungseingaben (im Basismodell typischerweise Bilder). Es wird auf kuratierten Daten mit präzisen Signed Distance Function (SDF)-Repräsentationen trainiert, die von einem benutzerdefinierten Variational Autoencoder (VAE) verwaltet werden.
2. Multimodale Konditionierung (Skizze + Text): Tripo Doodle erweitert TripoSG durch Mechanismen, die es ermöglichen, sowohl Skizzen- als auch Texteingaben gleichzeitig zu verstehen und zu integrieren.
   • Sketch Guidance: Die 2D-Zeichnung liefert starke geometrische Einschränkungen und definiert die Kernform, Struktur und Pose.
   • Text Guidance: Natürlichsprachliche Prompts steuern die semantische Interpretation und beeinflussen Objekttyp, Stil und spezifische Merkmale (z. B. verwandelt das Hinzufügen von „Drache“ eine generische Monsterskizze).
3. Echtzeit-Optimierung (z. B. Distillation): Um die für das interaktive „Doodling“-Erlebnis essenziellen nahezu sofortigen Generierungsgeschwindigkeiten zu erreichen, werden Techniken wie CFG distillation eingesetzt. Ein kleineres, optimiertes Modell wird darauf trainiert, die Ausgabe des größeren TripoSG-Modells zu replizieren, wodurch eine schnelle Inferenz ermöglicht wird, die für Echtzeit-Updates auf Basis kontinuierlicher Benutzereingaben geeignet ist.

Ideen zum Leben erwecken

Die Demonstration auf der SIGGRAPH Asia 2024 Real-Time LIVE! veranschaulichte die Stärke von Tripo Doodle:

• Mühelose Erstellung: Einfache Skizzen einer Pflanze, eines Tisches, eines Rings oder eines Monsters wurden sofort in 3D-Objekte verwandelt.
• Live-Iteration: Die 3D-Modelle wurden dynamisch aktualisiert, während Skizzen gezeichnet, gelöscht oder verfeinert wurden und während Text-Prompts hinzugefügt oder geändert wurden (z. B. indem ein generisches Monster mit hinzugefügten Flügeln in ein „Schildkrötenmonster“ oder ein „Drachenmonster“ verwandelt wurde).
• Kreative Erkundung: Die Funktion „Randomize“ ermöglichte es Nutzern, schnell verschiedene gültige 3D-Interpretationen derselben Skizzen-/Texteingabe durchzugehen.
• Zugänglichkeit: Das Segment „Doodle 1v1“, in dem Zuschauer darum wetteiferten, in weniger als 30 Sekunden Monster zu erstellen, hob hervor, wie intuitiv und schnell das Tool ist – selbst für Erstnutzer. Beispiele wie das „Tomatenmonster“ und das „Raupenmonster“ zeigten die kreativen (und manchmal überraschenden!) Ergebnisse, die sich in Sekunden erzielen lassen.

Weiter erkunden

VAST setzt sich dafür ein, das Feld durch offene Zusammenarbeit voranzubringen. Sowohl TripoSG Scribble als auch TripoSG sind Open Source.

• Try the TripoSG-Scribble demo
• Try the TripoSG demo
• Get the TripoSG code and models
• Read the full TripoSG research paper

Wir laden die Forschungs- und Entwickler-Community ein, TripoSG und die Konzepte hinter Tripo Doodle zu erkunden, darauf aufzubauen und dabei zu helfen, die Zukunft der 3D-AI mitzugestalten.