Apresentando HoloPart: Gerando Peças Completas e Editáveis para Qualquer Forma 3D

Estamos lançando o HoloPart em código aberto, um novo modelo generativo que compreende formas 3D componente por componente, desbloqueando poderosos fluxos de trabalho de edição, animação e criação.

Já tentou editar um modelo 3D baixado online, capturado por digitalizações ou gerado por IA? Frequentemente, são "blocos" únicos de geometria, tornando incrivelmente difícil ajustar, animar ou retexturizar componentes individuais, como a perna de uma cadeira ou os óculos de um personagem. As técnicas existentes de segmentação de peças 3D podem identificar patches de superfície visíveis pertencentes a diferentes partes, mas deixam você com peças quebradas e incompletas (Figura 1a). Isso limita fundamentalmente a sua utilidade para a criação de conteúdo no mundo real.
Hoje, temos o prazer de apresentar HoloPart, uma nova abordagem e projeto de código aberto que aborda este desafio diretamente. HoloPart introduz a tarefa de Segmentação Amodal de Peças 3D: decompor uma forma 3D não apenas em patches visíveis, mas em suas peças subjacentes completas e semanticamente significativas, inferindo até mesmo a geometria oculta por oclusão (Figura 1b).
No coração do HoloPart, um novo modelo generativo baseado em difusão que desenvolvemos. Estamos lançando o código, modelos HoloPart pré-treinados e uma demonstração interativa hoje, convidando a comunidade a construir sobre este trabalho.



Desenvolvedores podem testá-lo no Hugging Face.



O Problema: Peças Quebradas Impedem a Criação 3D

Digitalizações de fotogrametria, modelos generativos e até mesmo muitos ativos feitos por humanos frequentemente carecem de estrutura interna de peças. Embora métodos como o SAMPart3D possam segmentar inteligentemente a superfície de um modelo 3D, eles não conseguem ver "através" do objeto. Se você segmentar um anel usando esses métodos, obtém a superfície externa visível da gema e do aro, mas não a forma completa da gema ou o aro completo onde eles se intersectam ou são ocluídos.
Essa limitação é um grande gargalo para:

  • Edição de Geometria: Você não consegue redimensionar facilmente apenas as rodas de um modelo de carro se elas estiverem fundidas com a carroceria ou incompletas.
  • Animação: Rigging e animação de peças exigem que elas sejam objetos inteiros.
  • Atribuição de Materiais: A aplicação de materiais distintos frequentemente requer limites de peças limpos e completos.
  • Geração Procedural e Remixagem de Ativos: Construir variações ou combinar peças requer componentes bem definidos e completos.

Nossa Solução: Vendo a Peça Completa com HoloPart

Inspirado no conceito de percepção amodal (nossa capacidade de perceber objetos inteiros mesmo quando parcialmente escondidos), o projeto HoloPart introduz a Segmentação Amodal de Peças 3D. Conseguimos isso através de uma abordagem prática de duas fases:

  1. Segmentação Inicial: Primeiro, aproveitamos um método de última geração existente (como o SAMPart3D) para obter os patches de superfície iniciais (as peças incompletas).
  2. Completude da Peça com HoloPart: É aqui que a mágica acontece. Alimentamos o segmento de peça incompleto juntamente com o contexto da forma inteira em nosso novo modelo HoloPart. O HoloPart, construído sobre uma poderosa arquitetura de transformador de difusão, então gera a geometria 3D completa e plausível para essa peça.

Como o HoloPart Funciona:

O HoloPart não está apenas "preenchendo buracos". Construído sobre o forte conhecimento generativo do nosso modelo fundamental TripoSG, ele aproveita uma profunda compreensão da geometria 3D aprendida através de extenso pré-treinamento em grandes conjuntos de dados (como Objaverse) e ajuste fino especializado em dados de parte-todo. O HoloPart adapta a poderosa arquitetura de transformador de difusão do TripoSG para a tarefa específica de completude de peças. Sua principal inovação reside em um mecanismo de atenção dupla:

  • Atenção Local: Foca intensamente nos detalhes geométricos finos do patch de superfície de entrada para garantir que a peça completada se integre perfeitamente com a geometria visível.
  • Atenção Consciente do Contexto: Examina a forma inteira e onde a peça se encaixa dentro dela. Este passo crucial garante que a peça completada faça sentido globalmente – mantendo proporções, significado semântico e consistência geral da forma.

Isso permite que o HoloPart reconstrua inteligentemente a geometria oculta, mesmo para peças complexas ou oclusão significativa, enquanto respeita a estrutura geral do objeto.

Resultados: Peças Completas, Prontas para Ação

Estabelecemos novos benchmarks usando os conjuntos de dados ABO e PartObjaverse-Tiny para avaliar esta nova tarefa definida no projeto HoloPart. Nossos experimentos mostram que o HoloPart supera significativamente os métodos de completude de forma de última geração existentes quando aplicados a esta desafiadora tarefa de completude de peças.

Qualitativamente, a diferença é clara: onde outros métodos frequentemente falham em estruturas complexas ou produzem resultados incoerentes, o HoloPart gera consistentemente peças completas e de alta fidelidade que se alinham perfeitamente com a forma original.

Desbloqueando Aplicações Subsequentes

Ao gerar peças completas, o HoloPart desbloqueia uma série de aplicações poderosas que antes eram difíceis ou impossíveis de alcançar automaticamente:

  • Edição Intuitiva: Facilmente selecione, redimensione, mova ou substitua peças completas (como o exemplo do anel na Fig 1, ou as edições de carro na Fig 4a).
  • Atribuição de Materiais Sem Esforço: Aplique texturas ou materiais de forma limpa a componentes inteiros (Fig 1, Fig 4c).
  • Ativos Prontos para Animação: Gere peças adequadas para rigging e animação.
  • Processamento de Geometria Mais Inteligente: Permite remalhagem mais robusta e outras operações de geometria, trabalhando em peças coerentes (Fig 4b).
  • Geração Consciente de Peças: Este trabalho fornece uma base para futuros modelos generativos que podem criar ou manipular formas 3D no nível da peça.
  • Super-Resolução Geométrica: O HoloPart até mostra potencial para aprimorar os detalhes das peças, representando-as com altas contagens de tokens (Fig 5).

Comece a Usar o HoloPart

Acreditamos que a Segmentação Amodal de Peças 3D, conforme explorada no projeto HoloPart, é um passo crucial para uma criação de conteúdo 3D mais intuitiva e poderosa. Estamos lançando o HoloPart sob uma licença de código aberto para capacitar pesquisadores e desenvolvedores.

Estamos ansiosos para ver o que a comunidade construirá com essas ferramentas. Mergulhe, experimente e diga-nos o que você pensa!

Advancing 3D generation to new heights

moving at the speed of creativity, achieving the depths of imagination.