Presentamos HoloPart: Generación de Partes Completas y Editables para Cualquier Forma 3D

Estamos lanzando HoloPart como código abierto, un nuevo modelo generativo que entiende las formas 3D componente por componente, desbloqueando potentes flujos de trabajo de edición, animación y creación.

¿Alguna vez intentaste editar un modelo 3D descargado en línea, capturado de escaneos o generado por IA? A menudo, son "masas" únicas de geometría, lo que hace increíblemente difícil ajustar, animar o retexturizar componentes individuales como la pata de una silla o las gafas de un personaje. Las técnicas de segmentación de partes 3D existentes pueden identificar parches de superficie visibles que pertenecen a diferentes partes, pero te dejan con piezas rotas e incompletas (Figura 1a). Esto limita fundamentalmente su utilidad para la creación de contenido en el mundo real.
Hoy, estamos encantados de presentar HoloPart, un nuevo enfoque y proyecto de código abierto que aborda este desafío de frente. HoloPart introduce la tarea de Segmentación Amodal de Partes 3D: descomponer una forma 3D no solo en parches visibles, sino en sus partes subyacentes completas y semánticamente significativas, incluso infiriendo la geometría oculta por oclusión (Figura 1b).
En el corazón de HoloPart, un novedoso modelo generativo basado en difusión que hemos desarrollado. Estamos lanzando el código, los modelos HoloPart preentrenados y una demostración interactiva hoy, invitando a la comunidad a construir sobre este trabajo.



Los desarrolladores pueden probarlo en Hugging Face.



El Problema: Las Partes Incompletas Frenan la Creación 3D

Los escaneos de fotogrametría, los modelos generativos e incluso muchos activos creados por humanos a menudo carecen de una estructura de partes interna. Si bien métodos como SAMPart3D pueden segmentar de manera inteligente la superficie de un modelo 3D, no pueden ver "a través" del objeto. Si segmentas un anillo usando estos métodos, obtienes la superficie exterior visible de la gema y la banda, pero no la forma completa de la gema o la banda completa del anillo donde se cruzan o están ocluidas.
Esta limitación es un cuello de botella importante para:

  • Edición de Geometría: No puedes cambiar el tamaño fácilmente solo de las ruedas de un modelo de coche si están fusionadas con la carrocería o incompletas.
  • Animación: El rigging y la animación de las partes requieren que estas sean objetos completos.
  • Asignación de Materiales: La aplicación de materiales distintos a menudo requiere límites de partes limpios y completos.
  • Generación Procedural y Remezcla de Activos: La creación de variaciones o la combinación de partes requiere componentes bien definidos y completos.

Nuestra Solución: Ver la Parte Completa con HoloPart

Inspirado en el concepto de percepción amodal (nuestra capacidad de percibir objetos completos incluso cuando están parcialmente ocultos), el proyecto HoloPart introduce la Segmentación Amodal de Partes 3D. Logramos esto a través de un enfoque práctico de dos etapas:

  1. Segmentación Inicial: Primero aprovechamos un método existente de última generación (como SAMPart3D) para obtener los parches de superficie iniciales (las partes incompletas).
  2. Completado de Partes con HoloPart: Aquí es donde ocurre la magia. Alimentamos el segmento de parte incompleta junto con el contexto de la forma completa a nuestro novedoso modelo HoloPart. HoloPart, construido sobre una potente arquitectura de transformador de difusión, luego genera la geometría 3D completa y plausible para esa parte.

Cómo Funciona HoloPart:

HoloPart no se trata solo de "rellenar agujeros". Construido sobre el sólido prior generativo de nuestro modelo fundacional TripoSG, aprovecha una profunda comprensión de la geometría 3D aprendida a través de un extenso preentrenamiento en grandes conjuntos de datos (como Objaverse) y un ajuste fino especializado en datos de partes y conjuntos. HoloPart adapta la potente arquitectura de transformador de difusión de TripoSG para la tarea específica de completado de partes. Su innovación clave reside en un mecanismo de atención dual:

  • Atención Local: Se enfoca intensamente en los detalles geométricos de grano fino del parche de superficie de entrada para asegurar que la parte completada se integre perfectamente con la geometría visible.
  • Atención Consciente del Contexto: Observa la forma completa y dónde se encuentra la parte dentro de ella. Este paso crucial asegura que la parte completada tenga sentido globalmente, manteniendo las proporciones, el significado semántico y la consistencia general de la forma.

Esto permite a HoloPart reconstruir inteligentemente la geometría oculta, incluso para partes complejas u oclusión significativa, respetando al mismo tiempo la estructura general del objeto.

Resultados: Partes Completas, Listas para la Acción

Hemos establecido nuevos puntos de referencia utilizando los conjuntos de datos ABO y PartObjaverse-Tiny para evaluar esta novedosa tarea definida dentro del proyecto HoloPart. Nuestros experimentos demuestran que HoloPart supera significativamente a los métodos de completado de formas de última generación existentes cuando se aplica a esta desafiante tarea de completado de partes.

Cualitativamente, la diferencia es clara: donde otros métodos a menudo fallan en estructuras complejas o producen resultados incoherentes, HoloPart genera consistentemente partes completas y de alta fidelidad que se alinean perfectamente con la forma original.

Desbloqueando Aplicaciones Descendentes

Al generar partes completas, HoloPart desbloquea una gama de potentes aplicaciones que antes eran difíciles o imposibles de lograr automáticamente:

  • Edición Intuitiva: Agarra, redimensiona, mueve o reemplaza fácilmente partes completas (como el ejemplo del anillo en la Fig. 1, o las ediciones de coches en la Fig. 4a).
  • Asignación de Materiales Sin Esfuerzo: Aplica texturas o materiales de forma limpia a componentes completos (Fig. 1, Fig. 4c).
  • Activos Listos para Animación: Genera partes adecuadas para rigging y animación.
  • Procesamiento de Geometría Más Inteligente: Permite un remesh más robusto y otras operaciones de geometría al trabajar en partes coherentes (Fig. 4b).
  • Generación Consciente de Partes: Este trabajo sienta las bases para futuros modelos generativos que puedan crear o manipular formas 3D a nivel de partes.
  • Superresolución Geométrica: HoloPart incluso muestra potencial para mejorar el detalle de las partes al representarlas con un alto número de tokens (Fig. 5).

Comienza con HoloPart

Creemos que la Segmentación Amodal de Partes 3D, tal como se explora en el proyecto HoloPart, es un paso crucial hacia una creación de contenido 3D más intuitiva y potente. Estamos lanzando HoloPart bajo una licencia de código abierto para empoderar a investigadores y desarrolladores.

Estamos emocionados de ver lo que la comunidad construye con estas herramientas. ¡Sumérgete, experimenta y haznos saber lo que piensas!

Advancing 3D generation to new heights

moving at the speed of creativity, achieving the depths of imagination.