Apresentando HoloPart: Gerando Peças Completas e Editáveis para Qualquer Forma 3D
Estamos lançando o HoloPart em código aberto, um novo modelo generativo que compreende formas 3D componente por componente, desbloqueando poderosos fluxos de trabalho de edição, animação e criação.
Já tentou editar um modelo 3D baixado online, capturado por digitalizações ou gerado por IA? Frequentemente, são "blocos" únicos de geometria, tornando incrivelmente difícil ajustar, animar ou retexturizar componentes individuais, como a perna de uma cadeira ou os óculos de um personagem. As técnicas existentes de segmentação de peças 3D podem identificar patches de superfície visíveis pertencentes a diferentes partes, mas deixam você com peças quebradas e incompletas (Figura 1a). Isso limita fundamentalmente a sua utilidade para a criação de conteúdo no mundo real.
Hoje, temos o prazer de apresentar HoloPart, uma nova abordagem e projeto de código aberto que aborda este desafio diretamente. HoloPart introduz a tarefa de Segmentação Amodal de Peças 3D: decompor uma forma 3D não apenas em patches visíveis, mas em suas peças subjacentes completas e semanticamente significativas, inferindo até mesmo a geometria oculta por oclusão (Figura 1b).
No coração do HoloPart, um novo modelo generativo baseado em difusão que desenvolvemos. Estamos lançando o código, modelos HoloPart pré-treinados e uma demonstração interativa hoje, convidando a comunidade a construir sobre este trabalho.
Desenvolvedores podem testá-lo no Hugging Face.
O Problema: Peças Quebradas Impedem a Criação 3D
Digitalizações de fotogrametria, modelos generativos e até mesmo muitos ativos feitos por humanos frequentemente carecem de estrutura interna de peças. Embora métodos como o SAMPart3D possam segmentar inteligentemente a superfície de um modelo 3D, eles não conseguem ver "através" do objeto. Se você segmentar um anel usando esses métodos, obtém a superfície externa visível da gema e do aro, mas não a forma completa da gema ou o aro completo onde eles se intersectam ou são ocluídos.
Essa limitação é um grande gargalo para:
- Edição de Geometria: Você não consegue redimensionar facilmente apenas as rodas de um modelo de carro se elas estiverem fundidas com a carroceria ou incompletas.
- Animação: Rigging e animação de peças exigem que elas sejam objetos inteiros.
- Atribuição de Materiais: A aplicação de materiais distintos frequentemente requer limites de peças limpos e completos.
- Geração Procedural e Remixagem de Ativos: Construir variações ou combinar peças requer componentes bem definidos e completos.
Nossa Solução: Vendo a Peça Completa com HoloPart
Inspirado no conceito de percepção amodal (nossa capacidade de perceber objetos inteiros mesmo quando parcialmente escondidos), o projeto HoloPart introduz a Segmentação Amodal de Peças 3D. Conseguimos isso através de uma abordagem prática de duas fases:
- Segmentação Inicial: Primeiro, aproveitamos um método de última geração existente (como o SAMPart3D) para obter os patches de superfície iniciais (as peças incompletas).
- Completude da Peça com HoloPart: É aqui que a mágica acontece. Alimentamos o segmento de peça incompleto juntamente com o contexto da forma inteira em nosso novo modelo HoloPart. O HoloPart, construído sobre uma poderosa arquitetura de transformador de difusão, então gera a geometria 3D completa e plausível para essa peça.
Como o HoloPart Funciona:
O HoloPart não está apenas "preenchendo buracos". Construído sobre o forte conhecimento generativo do nosso modelo fundamental TripoSG, ele aproveita uma profunda compreensão da geometria 3D aprendida através de extenso pré-treinamento em grandes conjuntos de dados (como Objaverse) e ajuste fino especializado em dados de parte-todo. O HoloPart adapta a poderosa arquitetura de transformador de difusão do TripoSG para a tarefa específica de completude de peças. Sua principal inovação reside em um mecanismo de atenção dupla:
- Atenção Local: Foca intensamente nos detalhes geométricos finos do patch de superfície de entrada para garantir que a peça completada se integre perfeitamente com a geometria visível.
- Atenção Consciente do Contexto: Examina a forma inteira e onde a peça se encaixa dentro dela. Este passo crucial garante que a peça completada faça sentido globalmente – mantendo proporções, significado semântico e consistência geral da forma.
Isso permite que o HoloPart reconstrua inteligentemente a geometria oculta, mesmo para peças complexas ou oclusão significativa, enquanto respeita a estrutura geral do objeto.
Resultados: Peças Completas, Prontas para Ação
Estabelecemos novos benchmarks usando os conjuntos de dados ABO e PartObjaverse-Tiny para avaliar esta nova tarefa definida no projeto HoloPart. Nossos experimentos mostram que o HoloPart supera significativamente os métodos de completude de forma de última geração existentes quando aplicados a esta desafiadora tarefa de completude de peças.
Qualitativamente, a diferença é clara: onde outros métodos frequentemente falham em estruturas complexas ou produzem resultados incoerentes, o HoloPart gera consistentemente peças completas e de alta fidelidade que se alinham perfeitamente com a forma original.
Desbloqueando Aplicações Subsequentes
Ao gerar peças completas, o HoloPart desbloqueia uma série de aplicações poderosas que antes eram difíceis ou impossíveis de alcançar automaticamente:
- Edição Intuitiva: Facilmente selecione, redimensione, mova ou substitua peças completas (como o exemplo do anel na Fig 1, ou as edições de carro na Fig 4a).
- Atribuição de Materiais Sem Esforço: Aplique texturas ou materiais de forma limpa a componentes inteiros (Fig 1, Fig 4c).
- Ativos Prontos para Animação: Gere peças adequadas para rigging e animação.
- Processamento de Geometria Mais Inteligente: Permite remalhagem mais robusta e outras operações de geometria, trabalhando em peças coerentes (Fig 4b).
- Geração Consciente de Peças: Este trabalho fornece uma base para futuros modelos generativos que podem criar ou manipular formas 3D no nível da peça.
- Super-Resolução Geométrica: O HoloPart até mostra potencial para aprimorar os detalhes das peças, representando-as com altas contagens de tokens (Fig 5).
Comece a Usar o HoloPart
Acreditamos que a Segmentação Amodal de Peças 3D, conforme explorada no projeto HoloPart, é um passo crucial para uma criação de conteúdo 3D mais intuitiva e poderosa. Estamos lançando o HoloPart sob uma licença de código aberto para capacitar pesquisadores e desenvolvedores.
Estamos ansiosos para ver o que a comunidade construirá com essas ferramentas. Mergulhe, experimente e diga-nos o que você pensa!
