Présentation de HoloPart : génération de pièces complètes et éditables pour toute forme 3D
Nous open-sourceons HoloPart, un nouveau modèle génératif qui comprend les formes 3D composant par composant, ouvrant la voie à de puissants workflows d'édition, d'animation et de création.
Avez-vous déjà essayé de modifier un modèle 3D téléchargé en ligne, capturé à partir de scans ou généré par AI ? Souvent, il s'agit de blocs de géométrie uniques, ce qui rend extrêmement difficile l'ajustement, l'animation ou la réapplication de texture à des composants individuels comme le pied d'une chaise ou les lunettes d'un personnage. Les techniques existantes de segmentation de pièces 3D peuvent identifier les patchs de surface visibles appartenant à différentes pièces, mais elles vous laissent avec des morceaux cassés et incomplets (Figure 1a). Cela limite fondamentalement leur utilité pour la création de contenu dans le monde réel.
Aujourd'hui, nous sommes ravis de présenter HoloPart, une nouvelle approche et un projet open-source qui s'attaque à ce défi de front. HoloPart introduit la tâche de 3D Part Amodal Segmentation : décomposer une forme 3D non seulement en patchs visibles, mais en ses pièces sous-jacentes complètes et sémantiquement significatives, en inférant même la géométrie cachée par l'occlusion (Figure 1b).
Au coeur de HoloPart se trouve un nouveau modèle génératif basé sur la diffusion que nous avons développé. Nous publions aujourd'hui le code, des modèles HoloPart préentraînés et une démo interactive, et invitons la communauté à s'appuyer sur ce travail.
Les développeurs peuvent l'essayer sur Hugging Face.
Le problème : des pièces cassées freinent la création 3D
Les scans par photogrammétrie, les modèles génératifs et même de nombreux assets créés par des humains manquent souvent de structure interne en pièces. Bien que des méthodes comme SAMPart3D puissent segmenter intelligemment la surface d'un modèle 3D, elles ne peuvent pas voir « à travers » l'objet. Si vous segmentez une bague à l'aide de ces méthodes, vous obtenez la surface extérieure visible de la gemme et de l'anneau, mais pas la forme complète de la gemme ni l'anneau complet là où ils se croisent ou sont occultés.
Cette limitation constitue un goulot d'étranglement majeur pour :
- Édition de géométrie : Vous ne pouvez pas facilement redimensionner uniquement les roues d'un modèle de voiture si elles sont fusionnées avec la carrosserie ou incomplètes.
- Animation : Le rigging et l'animation des pièces exigent qu'elles soient des objets complets.
- Attribution de matériaux : L'application de matériaux distincts nécessite souvent des limites de pièces propres et complètes.
- Génération procédurale et remix d'assets : Créer des variations ou combiner des pièces nécessite des composants bien définis et complets.
Notre solution : voir la pièce entière avec HoloPart
Inspiré par le concept de perception amodale (notre capacité à percevoir des objets entiers même lorsqu'ils sont partiellement cachés), le projet HoloPart introduit la 3D Part Amodal Segmentation. Nous y parvenons grâce à une approche pratique en deux étapes :
- Segmentation initiale : Nous exploitons d'abord une méthode existante de pointe (comme SAMPart3D) pour obtenir les patchs de surface initiaux (les pièces incomplètes).
- Complétion de pièces avec HoloPart : C'est là que la magie opère. Nous injectons le segment de pièce incomplet ainsi que le contexte de la forme entière dans notre nouveau modèle HoloPart. HoloPart, construit sur une puissante architecture de diffusion transformer, génère alors la géométrie 3D complète et plausible de cette pièce.
Comment fonctionne HoloPart :
HoloPart ne se contente pas de « combler des trous ». Construit sur le fort prior génératif de notre modèle de base TripoSG, il s'appuie sur une compréhension approfondie de la géométrie 3D apprise grâce à un vaste préentraînement sur de grands jeux de données (comme Objaverse) et à un fine-tuning spécialisé sur des données pièce-tout. HoloPart adapte la puissante architecture de diffusion transformer de TripoSG à la tâche spécifique de complétion de pièces. Son innovation clé réside dans un mécanisme de double attention :
- Attention locale : Se concentre intensément sur les détails géométriques fins du patch de surface d'entrée afin de garantir que la pièce complétée s'intègre parfaitement à la géométrie visible.
- Attention sensible au contexte : Examine la forme entière et la position de la pièce en son sein. Cette étape cruciale garantit que la pièce complétée a du sens à l'échelle globale, en préservant les proportions, le sens sémantique et la cohérence globale de la forme.
Cela permet à HoloPart de reconstruire intelligemment la géométrie cachée, même pour des pièces complexes ou des occlusions importantes, tout en respectant la structure globale de l'objet.
Résultats : des pièces complètes, prêtes à l'action
Nous avons établi de nouveaux benchmarks à l'aide des jeux de données ABO et PartObjaverse-Tiny pour évaluer cette nouvelle tâche définie dans le projet HoloPart. Nos expériences montrent que HoloPart surpasse nettement les méthodes existantes de pointe de complétion de formes lorsqu'elles sont appliquées à cette difficile tâche de complétion de pièces.
D'un point de vue qualitatif, la différence est claire : là où d'autres méthodes échouent souvent sur des structures complexes ou produisent des résultats incohérents, HoloPart génère systématiquement des pièces complètes et haute fidélité qui s'alignent parfaitement avec la forme d'origine.
Débloquer les applications en aval
En générant des pièces complètes, HoloPart ouvre une gamme de puissantes applications auparavant difficiles, voire impossibles, à réaliser automatiquement :
- Édition intuitive : Saisissez, redimensionnez, déplacez ou remplacez facilement des pièces complètes (comme l'exemple de la bague dans la Fig 1, ou les modifications de voiture dans la Fig 4a).
- Attribution de matériaux sans effort : Appliquez proprement des textures ou des matériaux à des composants entiers (Fig 1, Fig 4c).
- Assets prêts pour l'animation : Générez des pièces adaptées au rigging et à l'animation.
- Traitement de géométrie plus intelligent : Permettez un remeshing plus robuste et d'autres opérations géométriques en travaillant sur des pièces cohérentes (Fig 4b).
- Génération consciente des pièces : Ce travail fournit une base pour de futurs modèles génératifs capables de créer ou manipuler des formes 3D au niveau des pièces.
- Super-résolution géométrique : HoloPart montre même un potentiel pour améliorer le niveau de détail des pièces en les représentant avec un grand nombre de tokens (Fig 5).
Bien démarrer avec HoloPart
Nous pensons que la 3D Part Amodal Segmentation, telle qu'explorée dans le projet HoloPart, constitue une étape cruciale vers une création de contenu 3D plus intuitive et plus puissante. Nous publions HoloPart sous licence open-source afin de donner les moyens d'agir aux chercheurs et aux développeurs.
Nous avons hâte de voir ce que la communauté construira avec ces outils. Plongez dedans, expérimentez et dites-nous ce que vous en pensez !
