CVPR 2025|Tripo AI ve Beihang University Açık Kaynaklı MIDI: Tek Bir Görüntüden Bileşimsel 3D Sahneler Üretme
Bu çalışma, VAST, Beihang University, Tsinghua University ve University of Hong Kong araştırmacıları tarafından yürütülmektedir. İlk yazar, araştırmaları generative AI ve 3D vision üzerine odaklanan Beihang University yüksek lisans öğrencisi Zehuan Huang'dır. Sorumlu yazarlar ise VAST Chief Scientist'i Yanpei Cao ve Beihang University Doçenti Lv Sheng'dir.
Sora'nın world models alanında bir devrimi ateşlemesiyle birlikte, fiziksel dünyanın dijital temeli olan 3D sahneler, dinamik ve etkileşimli AI sistemleri inşa etmek için kritik altyapı hâline geliyor. Tek görüntülerden 3D assets üretimindeki mevcut atılımlar, 3D içerik üretimi için "hayalden 3D'ye" uzanan atomik yeteneği sağlamıştır.
Ancak teknoloji bileşik sahne üretimine doğru evrildikçe, tek nesne üretimi paradigmalarının sınırlamaları belirginleşiyor. Mevcut yöntemler, dağınık "dijital atomlar" gibi 3D assets üretiyor ve bunları makul uzamsal ilişkilerle "moleküler yapılara" dönüştürmekte zorlanıyor. Bu da birkaç temel zorluğa yol açıyor: ① Örnek ayrıştırma ikilemi (tek bir görünümden üst üste binen nesneler nasıl doğru şekilde ayrıştırılır); ② Fiziksel kısıt modelleme (gerçekçi olmayan kesişim ve çarpışmalar nasıl önlenir); ③ Sahne düzeyinde anlamsal anlayış (nesne işlevi ile uzamsal yerleşim arasındaki tutarlılık nasıl korunur). Bu darboğazlar, "dijital atomlardan" "etkileşimli dünyalar"ın verimli şekilde inşasını ciddi biçimde engelliyor.
Kısa süre önce, Beihang University, VAST ve diğer kurumlardan bir araştırma ekibi, tek görüntülerden yüksek geometrik kaliteye sahip, instance-separable 3D bileşik sahneler üretebilen yeni bir model olan MIDI'yi tanıttı; bu model, tek görünüşlü 3D sahne üretiminde bir atılım gerçekleştirerek etkileşimli dünyaların üretimi için temel oluşturuyor.
- Makale: https://arxiv.org/abs/2412.03558
- Proje Sayfası: https://huanngzh.github.io/MIDI-Page/
- Kod: https://github.com/VAST-AI-Research/MIDI-3D
- Çevrimiçi Demo: https://huggingface.co/spaces/VAST-AI/MIDI-3D
Teknolojik Atılım
Geleneksel bileşimsel 3D sahne yeniden oluşturma teknikleri, genellikle çok aşamalı, nesne nesne üretim ve sahne optimizasyonuna dayanır; bu da uzun süreçlere yol açar ve çoğu zaman düşük geometrik kaliteye ve hatalı uzamsal yerleşimlere sahip sahneler üretir. Bu sorunları ele almak için MIDI (Multi-Instance Diffusion Model), 3D nesne üretim modellerinden yenilikçi biçimde yararlanarak bunları, hassas uzamsal ilişkilerle birden fazla 3D instance'ı aynı anda üretebilen bir multi-instance diffusion model'e genişletir ve böylece verimli, yüksek kaliteli 3D sahne üretimi sağlar:
- Tek Nesneden Çoklu Örnek Üretimine: MIDI, birden fazla 3D instance'ın latent representations'larını aynı anda denoise ederek ve denoise sürecinde multi-instance token'ları arasındaki etkileşimleri tanıtarak, 3D nesne üretim modellerini etkileşim modellemeli çoklu instance üretimine genişletir; bu instance'lar daha sonra doğrudan bir 3D sahne içinde birleştirilir.
- Multi-Instance Self-Attention Mekanizması: Nesne üretim modellerinin self-attention mekanizmasını multi-instance self-attention'a genişleten MIDI, üretim sürecinde instance'lar arasındaki uzamsal korelasyonları ve genel sahnenin tutarlılığını etkili şekilde yakalar; böylece sahne başına optimizasyon gereksinimi ortadan kalkar.
- Eğitim Sırasında Veri Artırma: MIDI, sınırlı sahne verisi kullanarak 3D instance'lar arasındaki etkileşimi denetlerken eğitimi nesne verileriyle artırarak, pre-training'in genelleme kabiliyetlerini korurken sahne yerleşimlerini etkili biçimde modeller.
Üretilen Sonuçlar
MIDI, tek bir görüntüye dayanarak yüksek kaliteli bileşimsel 3D sahneler üretebilir:
Çevrimiçi Demo
Üstün Performans
MIDI; hassas uzamsal yerleşim modellemesi, üstün geometrik üretim kalitesi, üretim verimliliği ve geniş uygulanabilirliğiyle öne çıkar. Deneysel sonuçlar, modelin birden fazla veri kümesinde mevcut yöntemlerden daha iyi performans gösterdiğini; 3D instance uzamsal ilişkileri, 3D instance geometrik kalitesi ve end-to-end üretim hızı açısından mükemmel sonuçlar elde ettiğini göstermektedir.
Uygulamalar: 3D Sahne İçeriği Üretimi İçin Yeni Bir Araç
MIDI, 3D sahne oluşturma için yeni bir çözüm sunar. Bu teknoloji; mimari tasarım, sanal gerçeklik, film özel efektleri ve oyun geliştirme gibi çeşitli alanlarda büyük potansiyel göstermektedir. Yüksek doğruluklu ve yüksek geometrik kaliteye sahip 3D sahne üretim yetenekleriyle MIDI, karmaşık sahnelerde yüksek kaliteli içerik talebini karşılayabilir ve üreticilere daha fazla olanak sunar.
Tripo: AI Destekli 3D Model Generator
MIDI 3D sahne kompozisyonunda devrim yaratırken, Tripo en gelişmiş AI yetenekleriyle bireysel asset oluşturmayı geliştirir:
Tek Görüntüden 3D Model
- Tek bir 2D görüntüyü anında yüksek kaliteli bir 3D modele dönüştürün.
- AI destekli reconstruction, doğru şekil ve doku sağlar.
- Hızlı prototipleme ve konsept görselleştirme için idealdir.
Çoklu Görüntüden 3D Model
- Daha iyi derinlik ve ayrıntı için farklı açılardan birden fazla görüntü kullanın.
- Geometrik doğruluğu ve gerçekçiliği artırır.
- Hassas nesne modelleme ve ürün tasarımı için mükemmeldir.
Metinden 3D Model
- Basit metin açıklamalarından 3D modeller üretin.
- AI, istemleri yorumlayarak ayrıntılı ve yaratıcı assets oluşturur.
- Oyunlar, VR ve animasyon için konsept üretimini hızlandırır.
Auto Rigging & Animation
- Minimum çabayla modelleri anında animasyona hazır rig'leyin.
- AI odaklı kemik yapısı ve hareket üretimi.
- Modelleri sorunsuz entegrasyon için game-ready hâle getirir.
Gelecek Çalışmalar
Modelin mükemmel performansına rağmen, MIDI geliştirme ekibi hâlâ iyileştirme ve keşif gerektiren birçok alan olduğunu kabul etmektedir. Örneğin, karmaşık etkileşimli sahnelere uyarlanabilirliğin daha da optimize edilmesi ve nesne üretiminin ayrıntı düzeyinin geliştirilmesi, gelecekteki çalışmaların temel odak noktalarıdır. Ekip, sürekli iyileştirme ve rafinasyon yoluyla bu araştırma yönünün yalnızca tek görünüşlü bileşik 3D sahne üretim teknolojisinin ilerlemesini desteklemekle kalmayıp, aynı zamanda 3D teknolojisinin pratik uygulamalarda yaygın olarak benimsenmesine de katkıda bulunacağını umuyor.
