Wie KI-3D-Generierung die Möglichkeiten von mobilen 3D-Scans erweitert

Zwei Tools. Zwei verschiedene Aufgaben.

Für viele Kreative beginnt die 3D-Erstellung heute an einem von zwei Orten: bei einer Idee oder in der realen Welt.

Der erste ist die KI-Generierung. Tools wie Tripo ermöglichen es Ihnen, in Sekundenschnelle einen Text-Prompt, eine Skizze oder ein Referenzbild in ein 3D-Modell zu verwandeln. Es ist schnell, kreativ und erfordert keine Scanausrüstung oder technischen Aufwand.

Der zweite ist das mobile 3D-Scannen. KIRI Engine erfasst beispielsweise Objekte und Umgebungen, die bereits in der realen Welt existieren, und bewahrt deren präzise Geometrie, Oberflächentextur und Materialdetails – und das ausschließlich mit einem Smartphone.

Dies sind keine konkurrierenden Ansätze. Sie lösen unterschiedliche Probleme. Zusammen decken sie mehr von der kreativen Pipeline ab, als es jedes Tool für sich allein könnte.

Was mobiles 3D-Scannen gut kann

Mobiles 3D-Scannen erfasst das, was bereits existiert: die reale Form eines physischen Objekts, seine tatsächliche Oberflächentextur, die Art und Weise, wie Licht mit seinen Materialien interagiert. Dies ist etwas, das die KI-Generierung zwar annähern, aber nicht vollständig ersetzen kann, wenn es auf Genauigkeit in der realen Welt ankommt, da die Informationen aus der Realität selbst stammen.

KIRI Engine bietet drei Erfassungsmodi, je nachdem, was Sie scannen:

• Photogrammetrie nimmt Dutzende bis Hunderte von Fotos auf und rekonstruiert präzise Geometrien und Farbkarten. Bestens geeignet für Objekte mit klaren Oberflächendetails und Texturen.
• LiDAR nutzt den Tiefensensor auf unterstützten iPhones für schnelles räumliches Scannen im realen Maßstab, insbesondere für Räume und größere Flächen. In KIRI Engine können LiDAR-Scans auch mit KI erweitert werden, um die Oberflächendetails zu verbessern, was sie als räumliche Referenzen oder Szenengrundlagen nützlicher macht.
• 3D Gaussian Splatting (3DGS) erfasst das visuelle Erscheinungsbild von Objekten und Szenen, ohne von einer traditionellen Mesh-Geometrie auszugehen. Dies kann nützlich sein für komplexe Materialien, organische Oberflächen und vollständige Umgebungen, bei denen die traditionelle Photogrammetrie schwieriger sauber zu rekonstruieren ist. KIRI Engine enthält außerdem eine integrierte 3DGS-zu-Mesh-Konvertierung, mit der Kreative Splat-Aufnahmen auf dem Mobiltelefon in Mesh-Assets umwandeln können, wenn sie polygonale Modelle für nachgelagerte Workflows benötigen.

Das Ergebnis ist ein hochpräziser 3D-Scan, der als solide Grundlage für weitere kreative Arbeiten dient.

Was die KI-Generierung für einen Scan-Workflow beisteuert

Hochpräzise Scans bieten eine starke Grundlage aus der realen Welt. Für verschiedene nachgelagerte Verwendungszwecke benötigen Kreative möglicherweise dennoch leichtere Meshes, neue Materialausrichtungen oder zusätzliche generierte Assets, um eine Szene zu vervollständigen. Hier erweitert Tripo den Workflow:

• Retopologie reduziert die Anzahl der Polygone erheblich, während die gescannte Geometrie visuell erkennbar bleibt. Das Ergebnis ist eine saubere Quad-Topologie, die sich für Echtzeit-Workflows und 3D-Tools eignet.
• Texturgenerierung ersetzt oder transformiert das Oberflächenmaterial eines gescannten Assets und eröffnet völlig neue visuelle Richtungen auf Basis derselben Geometrie.
• Asset-Generierung erstellt neue 3D-Objekte und Charaktere, die direkt in gescannte reale Umgebungen platziert werden können.

Jedes dieser Features erweitert die Möglichkeiten, was Kreative nach der Erfassung mit einem Scan tun können.

Workflow 1: Von der realen Skulptur zum spieletauglichen Asset

Echtes Beispiel: eine mit KIRI Engine gescannte bemalte Figur

Eine detaillierte Figur eignet sich hervorragend als Testfall für diesen Workflow. Das Originalstück weist komplexe Oberflächendetails an den Falten der Kleidung, den Gesichtszügen und einer dynamischen Pose mitten im Schritt auf. Genau die Art von Geometrie, deren manuelle Modellierung Stunden dauern würde, die sich aber mit Photogrammetrie hervorragend erfassen lässt.

Schritt 1: Scannen mit KIRI Engine

Nehmen Sie das Objekt im Modus "Photo Scan" aus verschiedenen Winkeln und Höhen auf. Für eine Figur dieser Größe reichen in der Regel 60 bis 80 Fotos aus, die die gesamte Silhouette abdecken. KIRI Engine verarbeitet die Rekonstruktion automatisch und exportiert eine GLB-Datei mit intakter Geometrie und Texturkarten.

Schritt 2: Umgestalten mit Texturgenerierung

In diesem Test haben wir festgestellt, dass die Durchführung der Texturgenerierung vor der Retopologie bessere Ergebnisse liefert. Da die vollständige Scan-Geometrie intakt ist, stehen Tripo mehr Oberflächeninformationen zur Verfügung, um die Materialrichtung zu interpretieren. Eine vorherige Reduzierung der Polygonanzahl kann einige der für die Texturgenerierung verfügbaren Oberflächeninformationen einschränken.

Vor diesem Hintergrund und unter Verwendung des Prompts "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style" wurde die gescannte Figur als stilisiertes Charakter-Asset im Fantasy-RPG-Stil neu interpretiert. Die Pose und die Proportionen stammten aus dem realen Scan. Der visuelle Stil stammte von Tripo.

Schritt 3: Retopologie in Tripo

Nachdem die visuelle Richtung festgelegt wurde, wird das Asset retopologisiert, um die Polygonanzahl zu reduzieren. Der ursprüngliche Scan wies 40.296 Dreiecke auf. Nach der Retopologie hatte dasselbe Asset 9.566 Flächen mit Quad-Topologie, was einer Reduzierung um etwa 76 % entspricht, während die Pose, die Proportionen und die Gesamtsilhouette intakt blieben.

Ein physisches Objekt. Ein Scan. In diesem Workflow kann eine reale Skulptur zu einem leichteren, stilisierten und spieletauglichen Asset werden, ohne dass sie manuell von Grund auf neu erstellt werden muss.

Workflow 2: Wenn eine reale Person und ein KI-Charakter dieselbe Szene teilen

Echtes Beispiel: eine mit 3DGS erfasste Person, kombiniert mit einem KI-generierten Charakter

Eine der überzeugendsten Anwendungen von 3D Gaussian Splatting ist das Erfassen realer Personen. 3DGS eignet sich besonders gut dafür, eine Person zusammen mit ihrer Umgebung in einem einzigen kontinuierlichen Durchgang zu erfassen, wobei realistisches Licht, Kleidungsdetails und der räumliche Kontext gleichzeitig erhalten bleiben.

Schritt 1: Erfassen einer realen Person mit KIRI Engine 3D Gaussian Splatting

Das Scannen einer Person mit 3D Gaussian Splatting erfordert etwas mehr Sorgfalt als das Scannen eines Objekts. Die Person muss während der Aufnahme so still wie möglich stehen. Selbst kleine Bewegungen wie Atmen oder Gewichtsverlagerungen können zu Unschärfen bei der Rekonstruktion führen. Wir haben die Testperson gebeten, eine entspannte Pose einzunehmen und Bewegungen während des gesamten Vorgangs zu minimieren.

Nehmen Sie aus drei Höhenstufen auf: hoher Winkel, Augenhöhe und niedriger Winkel, und umrunden Sie die Person auf jeder Höhe. Dies liefert dem Algorithmus genügend Informationen, um die gesamte Figur präzise zu rekonstruieren. KIRI Engine verarbeitet das Bildmaterial zu einer 3DGS-Szene, die sowohl die Person als auch die Umgebung enthält, wodurch die realen Lichtverhältnisse und der räumliche Kontext des Ortes erhalten bleiben.

Schritt 2: Generieren eines Charakters mit Tripo

Um mehr Kontrolle über das Endergebnis zu haben, haben wir zuerst die Text-zu-Bild-Generierung von Tripo verwendet, um ein Referenzbild zu erstellen, und dieses Bild dann in den Bild-zu-3D-Workflow von Tripo eingespeist. Während Text-zu-3D für eine schnelle Ideenfindung nützlich ist, gab uns die Verwendung eines zuvor generierten Referenzbildes mehr Kontrolle über die endgültige visuelle Richtung.

Der resultierende Charakter wurde als Standard-3D-Mesh exportiert. Sein visueller Stil mit flachem Shading, klaren Linien und gesättigten Farben kontrastiert bewusst mit der fotorealistischen gescannten Figur.

Schritt 3: Kombinieren in Blender mit dem 3DGS-Plugin von KIRI Engine

3DGS-Szenen werden als .ply-Dateien exportiert. Um sie in Blender zu importieren, haben wir das Open-Source-Blender-Plugin von KIRI Engine verwendet, das die 3DGS-Szene als natives Objekt neben Standard-3D-Assets lädt. Der von Tripo generierte Charakter wurde als Standard-Mesh importiert und in der Szene neben der gescannten Figur positioniert.

Das Blender-Plugin von KIRI Engine lädt die reale 3DGS-Aufnahme als Szenenobjekt, während der von Tripo generierte Charakter als Standard-3D-Mesh importiert wird. Zusammen erstellen sie eine gemischte Real- und KI-Szene im selben Blender-Arbeitsbereich.

Das Ergebnis ist eine einzelne Szene, in der eine reale, mittels 3DGS erfasste Person und ein KI-generierter, stilisierter Charakter im selben Raum koexistieren. Von hier aus kann die Szene als Ausgangspunkt für verschiedene kreative Richtungen dienen: Game-Prototyping, Konzeptvisualisierung, Tests für virtuelle Produktionen oder gemischtes Real- und KI-Storytelling.

Die gescannten Elemente sorgen für Authentizität und räumliche Erdung. Der KI-generierte Charakter fügt Inhalte hinzu, die in der physischen Welt nicht existieren. Zusammen zeigen sie, wie eine reale 3DGS-Aufnahme zur Grundlage für eine größere kreative Szene werden kann, anstatt ein statischer Scan zu bleiben.

Das Scannen liefert Ihnen die reale Welt. Die KI-Generierung liefert Ihnen alles darüber hinaus.

Keines der Tools ersetzt das andere. Tripo ist die richtige Wahl, wenn Sie etwas aus der Fantasie erschaffen möchten, wenn das Asset noch nicht existiert und Geschwindigkeit sowie kreative Flexibilität am wichtigsten sind. KIRI Engine ist die richtige Wahl, wenn es auf Realitätstreue ankommt, wenn das Objekt oder die Umgebung bereits existiert und erfasst statt erfunden werden muss.

Zusammen verwendet, decken die beiden Tools das gesamte Spektrum der 3D-Asset-Erstellung ab: von der reinen Fantasie bis zur reinen Realität und alles dazwischen.

Probieren Sie den Workflow selbst aus: Erfassen Sie etwas Reales mit KIRI Engine, generieren oder passen Sie kreative Assets mit Tripo an und erleben Sie, wie realitätsbasierte Erfassung und KI-Generierung Hand in Hand gehen können.