Представляем HoloPart: создание полных, редактируемых частей для любой 3D-формы

Мы открываем исходный код HoloPart, новой генеративной модели, которая понимает 3D-формы покомпонентно, открывая мощные рабочие процессы редактирования, анимации и создания.

Вы когда-нибудь пробовали редактировать 3D-модель, скачанную онлайн, полученную путем сканирования или сгенерированную ИИ? Часто это «единые куски» геометрии, что делает невероятно трудным изменение, анимирование или перетекстурирование отдельных компонентов, таких как ножка стула или очки персонажа. Существующие методы сегментации 3D-частей могут идентифицировать видимые поверхностные участки, принадлежащие разным частям, но они оставляют вам сломанные, неполные куски (Рис. 1а). Это принципиально ограничивает их полезность для создания реального контента.
Сегодня мы с радостью представляем HoloPart, новый подход и проект с открытым исходным кодом, который решает эту проблему в лоб. HoloPart представляет задачу амодальной сегментации 3D-частей: разложение 3D-формы не только на видимые участки, но и на ее основные полные, семантически значимые части, даже выводя геометрию, скрытую окклюзией (Рис. 1b).
В основе HoloPart лежит разработанная нами новая генеративная модель на основе диффузии. Мы выпускаем код, предварительно обученные модели HoloPart и интерактивную демонстрацию сегодня, приглашая сообщество развивать эту работу.



Разработчики могут попробовать это на Hugging Face.



Проблема: Неполные части сдерживают 3D-создание

Сканы фотограмметрии, генеративные модели и даже многие созданные человеком ассеты часто не имеют внутренней структуры частей. Хотя такие методы, как SAMPart3D, могут умело сегментировать поверхность 3D-модели, они не могут видеть «сквозь» объект. Если вы сегментируете кольцо с помощью этих методов, вы получаете видимую внешнюю поверхность драгоценного камня и ободка, но не полную форму драгоценного камня или весь ободок кольца там, где они пересекаются или окклюдированы.
Это ограничение является серьезным препятствием для:

  • Редактирования геометрии: Вы не можете легко изменить размер только колес на модели автомобиля, если они слиты с кузовом или неполные.
  • Анимации: Риггинг и анимация частей требуют, чтобы они были цельными объектами.
  • Назначения материалов: Применение различных материалов часто требует четких, полных границ частей.
  • Процедурной генерации и ремикширования ассетов: Создание вариаций или объединение частей требует четко определенных, полных компонентов.

Наше решение: Видеть целую часть с HoloPart

Вдохновленный концепцией амодального восприятия (наша способность воспринимать целые объекты, даже когда они частично скрыты), проект HoloPart представляет амодальную сегментацию 3D-частей. Мы достигаем этого с помощью практического двухэтапного подхода:

  1. Начальная сегментация: Сначала мы используем существующий передовой метод (например, SAMPart3D) для получения начальных поверхностных участков (неполных частей).
  2. Завершение части с HoloPart: Здесь происходит волшебство. Мы подаем сегмент неполной части вместе с контекстом всей формы в нашу новую модель HoloPart. HoloPart, построенная на мощной архитектуре диффузионного трансформера, затем генерирует полную, правдоподобную 3D-геометрию для этой части.

Как работает HoloPart:

HoloPart не просто «заполняет дыры». Построенная на сильном генеративном предшественнике нашей базовой модели TripoSG, она использует глубокое понимание 3D-геометрии, полученное в результате обширного предварительного обучения на больших наборах данных (таких как Objaverse) и специализированной донастройки на данных «часть-целое». HoloPart адаптирует мощную архитектуру диффузионного трансформера из TripoSG для конкретной задачи завершения частей. Ее ключевое нововведение заключается в механизме двойного внимания:

  • Локальное внимание: Интенсивно фокусируется на тонкозернистых геометрических деталях входного поверхностного участка, чтобы обеспечить бесшовную интеграцию завершенной части с видимой геометрией.
  • Контекстно-ориентированное внимание: Рассматривает всю форму и то, где часть находится внутри нее. Этот важный шаг гарантирует, что завершенная часть имеет смысл в глобальном масштабе — поддерживая пропорции, семантическое значение и общую согласованность формы.

Это позволяет HoloPart интеллектуально реконструировать скрытую геометрию, даже для сложных частей или значительной окклюзии, при этом соблюдая общую структуру объекта.

Результаты: Полные части, готовые к действию

Мы установили новые эталоны, используя наборы данных ABO и PartObjaverse-Tiny, для оценки этой новой задачи, определенной в проекте HoloPart. Наши эксперименты показывают, что HoloPart значительно превосходит существующие передовые методы завершения форм применительно к этой сложной задаче завершения частей.

Качественно разница очевидна: там, где другие методы часто терпят неудачу на сложных структурах или дают несвязные результаты, HoloPart последовательно генерирует полные, высококачественные части, которые прекрасно согласуются с исходной формой.

Открытие последующих применений

Генерируя полные части, HoloPart открывает ряд мощных приложений, которые ранее было трудно или невозможно реализовать автоматически:

  • Интуитивное редактирование: Легко захватывать, изменять размер, перемещать или заменять полные части (например, пример кольца на рис. 1 или изменения автомобиля на рис. 4а).
  • Легкое назначение материалов: Применяйте текстуры или материалы аккуратно ко всем компонентам (рис. 1, рис. 4c).
  • Ассеты, готовые к анимации: Генерируйте части, подходящие для риггинга и анимации.
  • Более интеллектуальная обработка геометрии: Обеспечивайте более надежное ремеширование и другие операции с геометрией, работая с согласованными частями (рис. 4б).
  • Генерация с учетом частей: Эта работа служит основой для будущих генеративных моделей, которые могут создавать или манипулировать 3D-формами на уровне частей.
  • Геометрическое суперразрешение: HoloPart даже демонстрирует потенциал для повышения детализации частей путем представления частей с большим количеством токенов (рис. 5).

Начните работу с HoloPart

Мы считаем, что амодальная сегментация 3D-частей, как это исследуется в проекте HoloPart, является решающим шагом к более интуитивному и мощному созданию 3D-контента. Мы выпускаем HoloPart под лицензией с открытым исходным кодом, чтобы расширить возможности исследователей и разработчиков.

Мы с нетерпением ждем, что сообщество создаст с помощью этих инструментов. Присоединяйтесь, экспериментируйте и делитесь своими мыслями!

Advancing 3D generation to new heights

moving at the speed of creativity, achieving the depths of imagination.