HoloPart'ı Tanıtıyoruz: Herhangi Bir 3D Shape için Tam, Düzenlenebilir Parts Üretme
HoloPart'ı open-source hale getiriyoruz; bu, 3D shape'leri component-by-component anlayan yeni bir generative model ve güçlü editing, animation ve creation workflow'larının önünü açıyor.
Hiç internetten indirilen, scan'lerden elde edilen ya da AI tarafından oluşturulan bir 3D model'i düzenlemeyi denediniz mi? Çoğu zaman bunlar tek parça geometry "yığınları"dır; bu da bir sandalyenin ayağı veya bir karakterin gözlüğü gibi tek tek component'leri düzenlemeyi, animate etmeyi ya da yeniden texture uygulamayı inanılmaz derecede zorlaştırır. Mevcut 3D part segmentation teknikleri, farklı part'lara ait görünür surface patch'leri tanımlayabilir, ancak elinizde kırık ve eksik parçalar bırakır (Şekil 1a). Bu durum, gerçek dünya content creation için kullanışlılıklarını temelden sınırlar.
Bugün, bu zorluğu doğrudan ele alan yeni bir yaklaşım ve open-source proje olan HoloPart'ı heyecanla tanıtıyoruz. HoloPart, 3D Part Amodal Segmentation görevini tanıtıyor: bir 3D shape'i yalnızca görünür patch'lere değil, alttaki tam, semantik olarak anlamlı part'lara ayırmak; hatta occlusion nedeniyle gizlenen geometry'yi bile çıkarsamak (Şekil 1b).
HoloPart'ın merkezinde, geliştirdiğimiz yeni bir diffusion tabanlı generative model yer alıyor. Bugün code'u, pre-trained HoloPart model'lerini ve interaktif bir demo'yu yayınlayarak topluluğu bu çalışmanın üzerine inşa etmeye davet ediyoruz.
Geliştiriciler bunu Hugging Face üzerinde deneyebilir.
Problem: Kırık Parts 3D Creation'ı Yavaşlatıyor
Photogrammetry scan'leri, generative model'ler ve hatta insan yapımı birçok asset çoğu zaman iç part yapısından yoksundur. SAMPart3D gibi yöntemler bir 3D model'in surface'ını akıllıca segment edebilse de nesnenin "içinden" göremezler. Bu yöntemlerle bir yüzüğü segment ederseniz, taşın ve bandın görünür dış yüzeyini elde edersiniz; ancak kesiştikleri veya occlusion nedeniyle gizlendikleri yerlerde taşın tam şeklini ya da yüzük bandının tamamını elde edemezsiniz.
Bu sınırlama şu alanlar için büyük bir darboğazdır:
- Geometry Editing: Gövdeyle birleşmiş veya eksikse, bir araba modelindeki yalnızca tekerlekleri kolayca yeniden boyutlandıramazsınız.
- Animation: Part'ları riglemek ve animate etmek, bunların tam nesneler olmasını gerektirir.
- Material Assignment: Farklı material'lar uygulamak çoğu zaman temiz ve tam part sınırları gerektirir.
- Procedural Generation & Asset Remixing: Varyasyonlar oluşturmak veya part'ları birleştirmek, iyi tanımlanmış ve tam component'ler gerektirir.
Çözümümüz: HoloPart ile Part'ın Tamamını Görmek
Amodal perception kavramından (nesneler kısmen gizli olsa bile onları bütün olarak algılama yeteneğimiz) ilham alan HoloPart projesi, 3D Part Amodal Segmentation'ı tanıtıyor. Bunu pratik bir iki aşamalı yaklaşımla başarıyoruz:
- İlk Segmentation: Önce mevcut state-of-the-art bir yöntemi (SAMPart3D gibi) kullanarak ilk surface patch'leri (eksik part'ları) elde ediyoruz.
- HoloPart ile Part Completion: Sihrin gerçekleştiği yer burası. Eksik part segment'ini, tüm shape'in bağlamıyla birlikte, yeni HoloPart model'imize veriyoruz. Güçlü bir diffusion transformer architecture üzerine kurulu HoloPart, ardından o part için tam ve makul 3D geometry'yi üretir.
HoloPart Nasıl Çalışır:
HoloPart yalnızca "boşluk doldurma" yapmaz. TripoSG foundation model'imizin güçlü generative prior'ı üzerine inşa edilen bu sistem, büyük dataset'ler (Objaverse gibi) üzerinde kapsamlı pre-training ve part-whole verisi üzerinde özelleştirilmiş fine-tuning sayesinde öğrenilmiş derin bir 3D geometry anlayışından yararlanır. HoloPart, TripoSG'nin güçlü diffusion transformer architecture'ını part completion görevine uyarlıyor. Temel yeniliği, dual attention mechanism içinde yatıyor:
- Local Attention: Tamamlanan part'ın görünür geometry ile kusursuz şekilde bütünleşmesini sağlamak için girdi surface patch'inin ince geometry detaylarına yoğun biçimde odaklanır.
- Context-Aware Attention: Tüm shape'e ve part'ın onun içinde nerede bulunduğuna bakar. Bu kritik adım, tamamlanan part'ın küresel olarak anlamlı olmasını; oranları, semantik anlamı ve genel shape tutarlılığını korumasını sağlar.
Bu sayede HoloPart, nesnenin genel yapısına sadık kalarak, karmaşık part'lar veya ciddi occlusion durumlarında bile gizli geometry'yi akıllıca yeniden oluşturabilir.
Sonuçlar: Aksiyona Hazır Tam Parts
HoloPart projesi kapsamında tanımlanan bu yeni görevi değerlendirmek için ABO ve PartObjaverse-Tiny dataset'lerini kullanarak yeni benchmark'lar oluşturduk. Deneylerimiz, HoloPart'ın bu zorlu part completion görevine uygulandığında mevcut state-of-the-art shape completion yöntemlerini belirgin biçimde geride bıraktığını gösteriyor.
Niteliksel olarak fark açık: Diğer yöntemler karmaşık yapılarda çoğu zaman başarısız olurken ya da tutarsız sonuçlar üretirken, HoloPart sürekli olarak orijinal shape ile mükemmel uyum sağlayan tam ve yüksek doğrulukta parts üretir.
Downstream Application'ların Önünü Açmak
Tam parts üreterek HoloPart, daha önce otomatik olarak gerçekleştirilmesi zor veya imkansız olan güçlü application'ların önünü açıyor:
- Sezgisel Editing: Tam parts'ları kolayca seçin, yeniden boyutlandırın, taşıyın veya değiştirin (Şekil 1'deki yüzük örneği ya da Şekil 4a'daki araba düzenlemeleri gibi).
- Kolay Material Assignment: Texture veya material'ları tüm component'lere temiz biçimde uygulayın (Şekil 1, Şekil 4c).
- Animation-Ready Asset'ler: Rigging ve animation için uygun parts üretin.
- Daha Akıllı Geometry Processing: Tutarlı parts üzerinde çalışarak daha sağlam remeshing ve diğer geometry operasyonlarını mümkün kılın (Şekil 4b).
- Part-Aware Generation: Bu çalışma, 3D shape'leri part seviyesinde oluşturabilen veya işleyebilen gelecekteki generative model'ler için bir temel sunar.
- Geometric Super-Resolution: HoloPart, parts'ları yüksek token sayılarıyla temsil ederek part detayını artırma potansiyeli de gösteriyor (Şekil 5).
HoloPart ile Başlayın
HoloPart projesinde ele alındığı şekliyle 3D Part Amodal Segmentation'ın, daha sezgisel ve güçlü 3D content creation'a doğru kritik bir adım olduğuna inanıyoruz. Araştırmacıları ve geliştiricileri güçlendirmek için HoloPart'ı open-source lisans altında yayınlıyoruz.
Topluluğun bu araçlarla neler inşa edeceğini görmek için heyecanlıyız. Hemen dalın, deneyin ve ne düşündüğünüzü bize bildirin!
