Yapay Zeka 3D Üretiminin Mobil 3D Taramalarla Yapabileceklerinizi Nasıl Genişlettiği

İki Araç. İki Farklı Görev.

Bugün birçok içerik oluşturucu için 3D üretim genellikle iki başlangıç noktasından birinden başlar: bir fikir veya gerçek dünya.

İlki yapay zeka üretimidir. Tripo gibi araçlar; bir metin istemini, taslağı veya referans görseli saniyeler içinde bir 3D modele dönüştürmenize olanak tanır. Hızlıdır, yaratıcıdır ve tarama ekipmanı veya teknik kurulum gerektirmez.

İkincisi ise mobil 3D taramadır. Örneğin KIRI Engine, sadece bir akıllı telefon kullanarak gerçek dünyada halihazırda var olan nesneleri ve ortamları yakalar; gerçek dünyadaki geometrilerini, yüzey dokularını ve malzeme detaylarını aslına uygun olarak korur.

Bunlar birbirine rakip yaklaşımlar değildir. Farklı sorunları çözerler. Birlikte, yaratıcı sürecin tek bir aracın tek başına üstlenebileceğinden çok daha fazlasını kapsarlar.

Mobil 3D Taramanın İyi Yaptığı Şeyler

Mobil 3D tarama, halihazırda var olanı yakalar: fiziksel bir nesnenin gerçek şeklini, asıl yüzey dokusunu ve ışığın malzemeleriyle nasıl etkileşime girdiğini. Gerçek dünyadaki doğruluk önemli olduğunda, bilginin kaynağı gerçekliğin kendisi olduğu için yapay zeka üretiminin ancak yaklaşık olarak sunabileceği ama tamamen yerine geçemeyeceği bir şeydir bu.

KIRI Engine, neyi taradığınıza bağlı olarak üç farklı yakalama modu sunar:

• Fotogrametri (Photogrammetry) onlarca ila yüzlerce fotoğraf çeker ve doğru geometri ile renk haritalarını yeniden oluşturur. Belirgin yüzey detaylarına ve dokularına sahip nesneler için en iyisidir.
• LiDAR, özellikle odalar ve daha büyük alanlar için gerçek dünya ölçeğinde hızlı mekansal tarama yapmak amacıyla desteklenen iPhone'lardaki derinlik sensörünü kullanır. KIRI Engine'de LiDAR taramaları, yüzey detaylarını iyileştirmek için yapay zeka ile geliştirilebilir, bu da onları mekansal referanslar veya sahne temelleri olarak daha kullanışlı hale getirir.
• 3D Gaussian Splatting (3DGS), geleneksel mesh geometrisinden başlamadan nesnelerin ve sahnelerin görsel görünümünü yakalar. Bu; karmaşık malzemeler, organik yüzeyler ve geleneksel fotogrametri ile temiz bir şekilde yeniden oluşturulması daha zor olabilecek tüm ortamlar için yararlı olabilir. KIRI Engine ayrıca, içerik oluşturucuların sonraki iş akışları için poligon modellere ihtiyaç duyduklarında splat yakalamalarını mobilde mesh varlıklarına dönüştürmelerine olanak tanıyan yerleşik 3DGS'den Mesh'e dönüştürme özelliğini içerir.

Sonuç, daha sonraki yaratıcı çalışmalar için güçlü bir temel oluşturan yüksek doğruluklu bir 3D yakalamadır.

Yapay Zeka Üretiminin Tarama İş Akışına Katkıları

Yüksek doğruluklu taramalar, güçlü bir gerçek dünya temeli sağlar. Farklı sonraki kullanımlar için yaratıcılar, bir sahneyi tamamlamak üzere yine de daha hafif mesh'lere, yeni malzeme yönelimlerine veya ek olarak üretilmiş varlıklara ihtiyaç duyabilirler. İşte Tripo'nun iş akışını genişlettiği yer burasıdır:

• Retopoloji (Retopology), taranan geometriyi görsel olarak tanınabilir tutarken poligon sayısını önemli ölçüde azaltarak gerçek zamanlı iş akışları ve 3D araçlar için uygun, temiz bir Dörtgen (Quad) topolojisi üretir.
• Doku üretimi (Texture generation), taranan bir varlığın yüzey malzemesini değiştirir veya dönüştürür; böylece aynı geometriden tamamen yeni görsel yönler ortaya çıkarır.
• Varlık üretimi (Asset generation), doğrudan taranmış gerçek dünya ortamlarına yerleştirilebilecek yeni 3D nesneler ve karakterler oluşturur.

Bunların her biri, içerik oluşturucuların çekim sonrasında bir tarama ile yapabileceklerini genişletir.

İş Akışı 1: Gerçek Dünyadaki Heykelden Oyuna Uygun Varlığa

Gerçek örnek: KIRI Engine ile taranmış boyalı bir figür

Detaylı bir figür, bu iş akışı için güçlü bir test örneğidir. Orijinal parça; kıyafet kıvrımları, yüz hatları ve dinamik bir adım atma duruşu boyunca karmaşık yüzey detaylarına sahiptir. Manuel olarak modellenmesi saatler alacak ancak fotogrametri ile kolayca yakalanabilecek türden bir geometri.

Adım 1: KIRI Engine ile Tarayın

Fotoğraf Tarama (Photo Scan) modunu kullanarak nesneyi birden fazla açıdan ve yükseklikten yakalayın. Bu boyuttaki bir figür için, tüm silueti kapsayan 60 ila 80 fotoğraf genellikle yeterlidir. KIRI Engine, yeniden oluşturma işlemini otomatik olarak gerçekleştirir ve geometri ile doku haritaları korunmuş bir GLB dosyası dışa aktarır.

Adım 2: Doku Üretimi ile Yeniden Tarzlandırın

Bu testte, retopolojiden önce doku üretimini çalıştırmanın daha iyi sonuçlar verdiğini gördük. Tüm tarama geometrisi bozulmadan kaldığında, Tripo malzeme yönünü yorumlarken üzerinde çalışabileceği daha fazla yüzey bilgisine sahip olur. Poligon sayısını önce azaltmak, doku üretimi için mevcut olan bazı yüzey bilgilerini sınırlayabilir.

Bu doğrultuda, "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style" istemi kullanılarak, taranan figür stilize fantezi RPG tarzında bir karakter varlığı olarak yeniden yorumlandı. Duruş ve oranlar gerçek dünyadaki taramadan geldi. Görsel stil ise Tripo'dan geldi.

Adım 3: Tripo'da Retopoloji Yapın

Görsel yön belirlendikten sonra, poligon sayısını azaltmak için varlığa retopoloji uygulanır. Orijinal tarama 40.296 üçgenden oluşuyordu. Retopolojiden sonra aynı varlık, duruşunu, oranlarını ve genel siluetini koruyarak yaklaşık %76'lık bir azalmayla Quad topolojisine sahip 9.566 yüzey olarak çıktı.

Tek bir fiziksel nesne. Tek bir tarama. Bu iş akışında, gerçek dünyadaki bir heykel, sıfırdan manuel olarak yeniden inşa edilmeye gerek kalmadan daha hafif, stilize ve oyuna uygun bir varlığa dönüşebilir.

İş Akışı 2: Gerçek Bir Kişi ve Bir Yapay Zeka Karakteri Aynı Sahneyi Paylaştığında

Gerçek örnek: 3DGS ile yakalanmış bir insan ile yapay zekayla üretilmiş bir karakterin birleşimi

3D Gaussian Splatting'in en etkileyici kullanımlarından biri gerçek insanları yakalamaktır. 3DGS, bir kişiyi çevresindeki ortamla birlikte tek bir kesintisiz geçişte yakalamak; gerçekçi ışıklandırmayı, kıyafet detaylarını ve mekansal bağlamı tek seferde korumak için özellikle çok uygundur.

Adım 1: KIRI Engine 3D Gaussian Splatting ile gerçek bir kişiyi yakalayın

Bir insanı 3D Gaussian Splatting ile taramak, bir nesneyi taramaktan biraz daha fazla özen gerektirir. Konunun çekim sırasında olabildiğince hareketsiz kalması gerekir; nefes alma veya ağırlık değiştirme gibi küçük hareketler bile yeniden oluşturmada bulanıklığa yol açabilir. Konudan rahat bir duruş sergilemesini ve çekim boyunca hareketi minimumda tutmasını istedik.

Yüksek açı, göz hizası ve düşük açı olmak üzere üç yükseklik seviyesinden çekim yapın ve her yükseklikte konunun etrafında dönün. Bu, algoritmaya tüm figürü doğru bir şekilde yeniden oluşturması için yeterli bilgi sağlar. KIRI Engine, görüntüleri hem kişiyi hem de çevresindeki ortamı içeren bir 3DGS sahnesine dönüştürür; konumun gerçek aydınlatmasını ve mekansal bağlamını korur.

Adım 2: Tripo ile bir karakter üretin

Nihai sonuç üzerinde daha fazla kontrol sahibi olmak için, önce bir referans görsel oluşturmak amacıyla Tripo'nun metinden görsele üretim özelliğini kullandık, ardından bu görseli Tripo'nun görselden 3D'ye iş akışına aktardık. Metinden 3D'ye hızlı fikir üretme için yararlı olsa da, önce üretilmiş bir referans görsel kullanmak bize nihai görsel yön üzerinde daha fazla kontrol sağladı.

Elde edilen karakter standart bir 3D mesh olarak dışa aktarıldı. Düz gölgeleme, temiz çizgiler ve doygun renkler içeren görsel stili, fotogerçekçi taranmış figürle bilinçli olarak tezat oluşturmaktadır.

Adım 3: KIRI Engine'in 3DGS eklentisini kullanarak Blender'da birleştirin

3DGS sahneleri .ply dosyaları olarak dışa aktarılır. Bunları Blender'a aktarmak için, 3DGS sahnesini standart 3D varlıkların yanında yerel bir nesne olarak yükleyen KIRI Engine'in açık kaynaklı Blender eklentisini kullandık. Tripo tarafından üretilen karakter standart bir mesh olarak içe aktarıldı ve sahnede taranan figürün yanına konumlandırıldı.

KIRI Engine'in Blender eklentisi gerçek dünyadaki 3DGS çekimini bir sahne nesnesi olarak yüklerken, Tripo ile üretilen karakter standart bir 3D mesh olarak içe aktarılır. Birlikte, aynı Blender çalışma alanı içinde karma bir gerçek ve yapay zeka sahnesi oluştururlar.

Sonuç, 3DGS aracılığıyla yakalanan gerçek bir insan ile yapay zekayla üretilen stilize bir karakterin aynı alanda bir arada var olduğu tek bir sahnedir. Buradan yola çıkarak sahne, çeşitli yaratıcı yönelimler için bir başlangıç noktası olarak kullanılabilir: oyun prototipleme, konsept görselleştirme, sanal prodüksiyon testleri veya karma gerçeklik-yapay zeka hikaye anlatımı.

Taranan unsurlar özgünlük ve mekansal temel sağlar. Yapay zeka ile üretilen karakter ise fiziksel dünyada var olmayan içerikler ekler. Birlikte, gerçek dünyadaki bir 3DGS çekiminin statik bir tarama olarak kalmak yerine, nasıl daha geniş bir yaratıcı sahnenin temeli haline gelebileceğini gösterirler.

Tarama Size Gerçek Dünyayı Sunar. Yapay Zeka Üretimi İse Onun Ötesindeki Her Şeyi.

İki araç da diğerinin yerini almaz. Tripo, hayal gücünden bir şey inşa ederken, varlık henüz mevcut olmadığında ve hız ile yaratıcı esneklik en önemli unsurlar olduğunda doğru seçimdir. KIRI Engine ise gerçekliğe uygunluk önemli olduğunda, nesne veya ortam halihazırda var olduğunda ve icat edilmek yerine yakalanması gerektiğinde doğru seçimdir.

Birlikte kullanıldıklarında bu iki araç, 3D varlık üretiminin tüm yelpazesini kapsar: saf hayal gücünden saf gerçekliğe ve aradaki her şeye kadar.

Bu iş akışını kendiniz deneyin: KIRI Engine ile gerçek bir şeyi yakalayın, Tripo ile yaratıcı varlıklar üretin veya uyarlayın ve gerçekliğe dayalı yakalama ile yapay zeka üretiminin birlikte nasıl çalışabileceğini görün.