Come la generazione 3D con IA estende ciò che puoi fare con le scansioni 3D da mobile

Due strumenti. Due compiti diversi.

Per molti creatori oggi, la creazione 3D inizia spesso da uno di questi due punti: un'idea o il mondo reale.

Il primo è la generazione tramite IA. Strumenti come Tripo ti consentono di trasformare un prompt di testo, uno schizzo o un'immagine di riferimento in un modello 3D in pochi secondi. È veloce, creativo e non richiede apparecchiature di scansione o configurazioni tecniche.

Il secondo è la scansione 3D da dispositivi mobili. KIRI Engine, ad esempio, acquisisce oggetti e ambienti che esistono già nel mondo reale, preservandone la geometria accurata, la texture della superficie e i dettagli dei materiali, utilizzando nient'altro che uno smartphone.

Questi non sono approcci in competizione. Risolvono problemi diversi. Insieme, coprono una porzione maggiore della pipeline creativa rispetto a quanto farebbe un singolo strumento da solo.

Cosa fa bene la scansione 3D da mobile

La scansione 3D da mobile cattura ciò che già esiste: la forma reale di un oggetto fisico, la sua texture superficiale effettiva, il modo in cui la luce interagisce con i suoi materiali. Questo è qualcosa che la generazione tramite IA può approssimare, ma non sostituire completamente quando la precisione del mondo reale è fondamentale, perché le informazioni provengono dalla realtà stessa.

KIRI Engine offre tre modalità di acquisizione a seconda di ciò che si sta scansionando:

• Fotogrammetria acquisisce da dozzine a centinaia di foto e ricostruisce geometrie e mappe di colore accurate. Ideale per oggetti con dettagli e texture superficiali nitidi.
• LiDAR utilizza il sensore di profondità sugli iPhone supportati per una scansione spaziale rapida con scala reale, specialmente per stanze e spazi più ampi. In KIRI Engine, le scansioni LiDAR possono anche essere potenziate con l'IA per migliorare i dettagli della superficie, rendendole più utili come riferimenti spaziali o basi per le scene.
• 3D Gaussian Splatting (3DGS) acquisisce l'aspetto visivo di oggetti e scene senza partire dalla tradizionale geometria mesh. Questo può essere utile per materiali complessi, superfici organiche e interi ambienti in cui la fotogrammetria tradizionale potrebbe avere difficoltà a ricostruire in modo pulito. KIRI Engine include anche la conversione integrata da 3DGS a Mesh, consentendo ai creatori di trasformare le acquisizioni splat in asset mesh direttamente su mobile quando necessitano di modelli poligonali per i workflow successivi.

Il risultato è un'acquisizione 3D ad alta fedeltà che funge da solida base per ulteriori lavori creativi.

Cosa aggiunge la generazione tramite IA a un workflow di scansione

Le scansioni ad alta fedeltà forniscono una solida base reale. Per diversi utilizzi successivi, i creatori potrebbero comunque aver bisogno di mesh più leggere, nuove direzioni per i materiali o asset generati aggiuntivi per completare una scena. È qui che Tripo estende il workflow:

• Retopologia riduce significativamente il numero di poligoni mantenendo la geometria scansionata visivamente riconoscibile, producendo una topologia Quad pulita adatta a workflow in tempo reale e strumenti 3D.
• Generazione di texture sostituisce o trasforma il materiale superficiale di un asset scansionato, aprendo direzioni visive completamente nuove a partire dalla stessa geometria.
• Generazione di asset crea nuovi oggetti e personaggi 3D che possono essere posizionati direttamente negli ambienti reali scansionati.

Ciascuno di questi passaggi espande ciò che i creatori possono fare con una scansione dopo l'acquisizione.

Workflow 1: Da una scultura del mondo reale a un asset adatto ai videogiochi

Esempio reale: una statuetta dipinta scansionata con KIRI Engine

Una statuetta dettagliata rappresenta un ottimo caso di studio per questo workflow. Il pezzo originale presenta dettagli superficiali complessi tra le pieghe dei vestiti, i tratti del viso e una posa dinamica a metà passo. Esattamente il tipo di geometria che richiederebbe ore per essere modellata manualmente, ma che si acquisisce facilmente con la fotogrammetria.

Passo 1: Scansione con KIRI Engine

Utilizzando la modalità Photo Scan, acquisisci l'oggetto da diverse angolazioni e altezze. Per una statuetta di queste dimensioni, da 60 a 80 foto che coprono l'intera silhouette sono in genere sufficienti. KIRI Engine elabora la ricostruzione automaticamente ed esporta un file GLB con geometria e mappe di texture intatte.

Passo 2: Ristilizzazione con la generazione di texture

In questo test, abbiamo riscontrato che eseguire la generazione delle texture prima della retopologia produceva risultati migliori. Con l'intera geometria della scansione intatta, Tripo ha più informazioni superficiali su cui lavorare interpretando la direzione del materiale. Ridurre prima il numero di poligoni potrebbe limitare alcune delle informazioni superficiali disponibili per la generazione di texture.

Tenendo questo a mente, utilizzando il prompt "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style", la statuetta scansionata è stata reinterpretata come un asset personaggio in stile RPG fantasy stilizzato. La posa e le proporzioni provengono dalla scansione reale. Lo stile visivo è stato generato da Tripo.

Passo 3: Retopologia in Tripo

Una volta stabilita la direzione visiva, l'asset viene sottoposto a retopologia per ridurne il numero di poligoni. La scansione originale contava 40.296 triangoli. Dopo la retopologia, lo stesso asset è sceso a 9.566 facce con topologia Quad, una riduzione del 76% circa, mantenendo intatte la posa, le proporzioni e la silhouette complessiva.

Un oggetto fisico. Una scansione. In questo workflow, una scultura del mondo reale può diventare un asset più leggero e stilizzato per videogiochi senza doverlo ricostruire manualmente da zero.

Workflow 2: Quando una persona reale e un personaggio IA condividono la stessa scena

Esempio reale: una persona acquisita con 3DGS combinata con un personaggio generato da IA

Uno degli usi più interessanti del 3D Gaussian Splatting è l'acquisizione di persone reali. Il 3DGS è particolarmente adatto per catturare una persona insieme all'ambiente circostante in un unico passaggio continuo, preservando contemporaneamente l'illuminazione realistica, i dettagli dei vestiti e il contesto spaziale.

Passo 1: Acquisire una persona reale con KIRI Engine 3D Gaussian Splatting

Scansionare una persona con il 3D Gaussian Splatting richiede un po' più di attenzione rispetto alla scansione di un oggetto. Il soggetto deve rimanere il più immobile possibile durante l'acquisizione; anche piccoli movimenti come il respiro o lo spostamento del peso possono introdurre sfocature nella ricostruzione. Abbiamo chiesto al soggetto di mantenere una posa rilassata e di ridurre al minimo i movimenti.

Acquisisci da tre livelli di altezza: angolazione dall'alto, a livello degli occhi e angolazione dal basso, girando attorno al soggetto a ciascuna altezza. Questo fornisce all'algoritmo informazioni sufficienti per ricostruire accuratamente l'intera figura. KIRI Engine elabora le riprese in una scena 3DGS che include sia la persona che l'ambiente circostante, preservando l'illuminazione reale e il contesto spaziale del luogo.

Passo 2: Generare un personaggio con Tripo

Per avere maggiore controllo sul risultato finale, abbiamo utilizzato prima la generazione text-to-image di Tripo per creare un'immagine di riferimento, quindi abbiamo inserito quell'immagine nel workflow image-to-3D di Tripo. Sebbene il text-to-3D sia utile per un'ideazione rapida, l'uso preliminare di un'immagine di riferimento generata ci ha dato più controllo sulla direzione visiva finale.

Il personaggio risultante è stato esportato come una mesh 3D standard. Il suo stile visivo, con shading piatto, linee pulite e colori saturi, contrasta intenzionalmente con la figura fotorealistica scansionata.

Passo 3: Combinare in Blender usando il plugin 3DGS di KIRI Engine

Le scene 3DGS vengono esportate come file .ply. Per importarle in Blender, abbiamo utilizzato il plugin Blender open-source di KIRI Engine, che carica la scena 3DGS come oggetto nativo insieme ad asset 3D standard. Il personaggio generato da Tripo è stato importato come una mesh standard e posizionato nella scena accanto alla figura scansionata.

Il plugin Blender di KIRI Engine carica l'acquisizione 3DGS reale come oggetto di scena, mentre il personaggio generato da Tripo viene importato come una mesh 3D standard. Insieme, creano una scena mista tra reale e IA all'interno dello stesso spazio di lavoro di Blender.

Il risultato è un'unica scena in cui convivono nello stesso spazio una persona reale acquisita tramite 3DGS e un personaggio stilizzato generato da IA. Da qui, la scena può essere utilizzata come punto di partenza per diverse direzioni creative: prototipazione di giochi, visualizzazione di concept, test di produzione virtuale o narrazione mista reale e IA.

Gli elementi scansionati forniscono autenticità e una base spaziale. Il personaggio generato dall'IA aggiunge contenuti che non esistono nel mondo fisico. Insieme, mostrano come un'acquisizione 3DGS reale possa diventare la base per una scena creativa più ampia, invece di rimanere una scansione statica.

La scansione ti offre il mondo reale. La generazione tramite IA ti offre tutto ciò che va oltre.

Nessuno strumento sostituisce l'altro. Tripo è la scelta giusta quando crei qualcosa partendo dall'immaginazione, quando l'asset non esiste ancora e la velocità e la flessibilità creativa sono fondamentali. KIRI Engine è la scelta giusta quando conta la precisione rispetto alla realtà, quando l'oggetto o l'ambiente esiste già e deve essere catturato anziché inventato.

Utilizzati insieme, i due strumenti coprono l'intera gamma della creazione di asset 3D: dalla pura immaginazione alla pura realtà, e tutto ciò che sta nel mezzo.

Prova tu stesso il workflow: acquisisci qualcosa di reale con KIRI Engine, genera o adatta asset creativi con Tripo e scopri come l'acquisizione basata sulla realtà e la generazione tramite IA possono lavorare insieme.