Представляємо HoloPart: Генерація повних, редагованих частин для будь-якої 3D-форми
Ми відкриваємо вихідний код HoloPart — нової генеративної моделі, яка розуміє 3D-форми на рівні окремих компонентів, відкриваючи потужні можливості для редагування, анімації та створення.
Ви коли-небудь намагалися редагувати 3D-модель, завантажену з інтернету, отриману зі сканів або згенеровану AI? Часто це суцільні «грудки» геометрії, через що неймовірно складно змінювати, анімувати чи перетекстурювати окремі компоненти, як-от ніжку стільця або окуляри персонажа. Наявні методи сегментації 3D-частин можуть визначати видимі ділянки поверхні, що належать різним частинам, але в результаті ви отримуєте пошкоджені, неповні фрагменти (Рис. 1a). Це фундаментально обмежує їхню користь для створення контенту в реальних умовах.
Сьогодні ми з радістю представляємо HoloPart — новий підхід і open-source проєкт, що безпосередньо розв’язує цю проблему. HoloPart запроваджує завдання 3D Part Amodal Segmentation: розкладання 3D-форми не лише на видимі ділянки, а на її базові повні, семантично значущі частини, навіть із відновленням геометрії, прихованої оклюзією (Рис. 1b).
В основі HoloPart лежить нова diffusion-based генеративна модель, яку ми розробили. Сьогодні ми публікуємо код, попередньо натреновані моделі HoloPart та інтерактивне demo, запрошуючи спільноту розвивати цю роботу далі.
Розробники можуть спробувати це на Hugging Face.
Проблема: пошкоджені частини стримують створення 3D
Скани фотограмметрії, генеративні моделі і навіть багато створених вручну asset-ів часто не мають внутрішньої структури частин. Хоча методи на кшталт SAMPart3D можуть розумно сегментувати поверхню 3D-моделі, вони не здатні бачити «крізь» об’єкт. Якщо сегментувати каблучку за допомогою таких методів, ви отримаєте видиму зовнішню поверхню каменя й обідка, але не повну форму каменя чи весь обідок у місцях перетину або оклюзії.
Це обмеження є серйозним вузьким місцем для:
- Редагування геометрії: Ви не можете легко змінити розмір лише коліс у моделі автомобіля, якщо вони злиті з кузовом або є неповними.
- Анімації: Для ригінгу й анімації частини мають бути цілісними об’єктами.
- Призначення матеріалів: Застосування різних матеріалів часто потребує чистих, повних меж між частинами.
- Процедурної генерації та remixing asset-ів: Створення варіацій або комбінування частин потребує добре визначених, повних компонентів.
Наше рішення: бачити всю частину разом із HoloPart
Натхненний концепцією амодального сприйняття (нашою здатністю сприймати цілі об’єкти, навіть коли вони частково приховані), проєкт HoloPart запроваджує 3D Part Amodal Segmentation. Ми досягаємо цього за допомогою практичного двоетапного підходу:
- Початкова сегментація: Спочатку ми використовуємо наявний state-of-the-art метод (як-от SAMPart3D), щоб отримати початкові ділянки поверхні (неповні частини).
- Доповнення частин за допомогою HoloPart: Саме тут і відбувається магія. Ми подаємо неповний сегмент частини разом із контекстом усієї форми в нашу нову модель HoloPart. HoloPart, побудована на потужній архітектурі diffusion transformer, далі генерує повну, правдоподібну 3D-геометрію для цієї частини.
Як працює HoloPart:
HoloPart не просто «заповнює дірки». Побудована на сильному генеративному prior нашої foundation model TripoSG, вона використовує глибоке розуміння 3D-геометрії, здобуте завдяки масштабному попередньому навчанню на великих датасетах (як-от Objaverse) і спеціалізованому fine-tuning на даних типу part-whole. HoloPart адаптує потужну архітектуру diffusion transformer із TripoSG для конкретного завдання доповнення частин. Її ключова інновація полягає в механізмі подвійної уваги:
- Локальна увага: Інтенсивно фокусується на дрібних геометричних деталях вхідної ділянки поверхні, щоб завершена частина безшовно інтегрувалася з видимою геометрією.
- Контекстно-орієнтована увага: Дивиться на всю форму і на те, де в ній розташована частина. Цей критично важливий крок гарантує, що завершена частина має глобальний сенс — зберігає пропорції, семантичне значення та загальну узгодженість форми.
Це дозволяє HoloPart інтелектуально відновлювати приховану геометрію навіть для складних частин або значної оклюзії, зберігаючи при цьому загальну структуру об’єкта.
Результати: повні частини, готові до дії
Ми встановили нові benchmarks, використовуючи датасети ABO та PartObjaverse-Tiny, щоб оцінити це нове завдання, визначене в межах проєкту HoloPart. Наші експерименти показують, що HoloPart значно перевершує наявні state-of-the-art методи доповнення форм, коли їх застосовують до цього складного завдання доповнення частин.
Якісно різниця очевидна: там, де інші методи часто не справляються зі складними структурами або дають неузгоджені результати, HoloPart стабільно генерує повні, високоточні частини, які чудово узгоджуються з оригінальною формою.
Відкриваючи можливості для downstream applications
Генеруючи повні частини, HoloPart відкриває низку потужних застосувань, яких раніше було важко або неможливо досягти автоматично:
- Інтуїтивне редагування: Легко захоплюйте, змінюйте розмір, переміщуйте або замінюйте цілі частини (як у прикладі з каблучкою на Рис. 1 або редагуваннях авто на Рис. 4a).
- Легке призначення матеріалів: Акуратно застосовуйте текстури чи матеріали до цілих компонентів (Рис. 1, Рис. 4c).
- Asset-и, готові до анімації: Генеруйте частини, придатні для ригінгу й анімації.
- Розумніша обробка геометрії: Забезпечуйте більш надійний remeshing та інші геометричні операції, працюючи з узгодженими частинами (Рис. 4b).
- Генерація з урахуванням частин: Ця робота закладає основу для майбутніх генеративних моделей, які зможуть створювати або змінювати 3D-форми на рівні частин.
- Геометричний super-resolution: HoloPart навіть демонструє потенціал для підвищення деталізації частин завдяки представленню частин із великою кількістю token-ів (Рис. 5).
Почніть роботу з HoloPart
Ми вважаємо, що 3D Part Amodal Segmentation, як її досліджує проєкт HoloPart, є критично важливим кроком до більш інтуїтивного та потужного створення 3D-контенту. Ми випускаємо HoloPart під open-source ліцензією, щоб надати дослідникам і розробникам більше можливостей.
Ми з нетерпінням чекаємо, що спільнота створить за допомогою цих інструментів. Поринайте, експериментуйте та діліться з нами своїми враженнями!
