Presentazione di HoloPart: generazione di parti complete e modificabili per qualsiasi forma 3D
Stiamo rendendo open-source HoloPart, un nuovo modello generativo che comprende le forme 3D componente per componente, sbloccando potenti flussi di lavoro per editing, animazione e creazione.
Hai mai provato a modificare un modello 3D scaricato online, acquisito da scansioni o generato dall'AI? Spesso sono singoli "blocchi" di geometria, il che rende incredibilmente difficile ritoccare, animare o riapplicare texture a componenti individuali come la gamba di una sedia o gli occhiali di un personaggio. Le tecniche esistenti di segmentazione delle parti 3D possono identificare le patch superficiali visibili appartenenti a parti diverse, ma ti lasciano con pezzi rotti e incompleti (Figura 1a). Questo limita fondamentalmente la loro utilità per la creazione di contenuti nel mondo reale.
Oggi siamo entusiasti di presentare HoloPart, un nuovo approccio e progetto open-source che affronta questa sfida direttamente. HoloPart introduce il compito della 3D Part Amodal Segmentation: scomporre una forma 3D non solo in patch visibili, ma nelle sue parti sottostanti complete e semanticamente significative, arrivando persino a inferire la geometria nascosta dall'occlusione (Figura 1b).
Al centro di HoloPart c'è un nuovo modello generativo basato su diffusion che abbiamo sviluppato. Oggi rilasciamo il codice, i modelli HoloPart pre-addestrati e una demo interattiva, invitando la community a sviluppare ulteriormente questo lavoro.
Gli sviluppatori possono provarlo su Hugging Face.
Il problema: le parti danneggiate frenano la creazione 3D
Le scansioni fotogrammetriche, i modelli generativi e perfino molti asset creati manualmente spesso non hanno una struttura interna in parti. Sebbene metodi come SAMPart3D possano segmentare in modo intelligente la superficie di un modello 3D, non riescono a vedere "attraverso" l'oggetto. Se segmenti un anello usando questi metodi, ottieni la superficie esterna visibile della gemma e della fascia, ma non la forma completa della gemma né l'intera fascia dell'anello nei punti in cui si intersecano o sono occluse.
Questa limitazione è un importante collo di bottiglia per:
- Editing della geometria: non puoi ridimensionare facilmente solo le ruote di un modello d'auto se sono fuse con la carrozzeria o incomplete.
- Animazione: il rigging e l'animazione delle parti richiedono che siano oggetti completi.
- Assegnazione dei materiali: applicare materiali distinti richiede spesso confini delle parti puliti e completi.
- Generazione procedurale e remixing di asset: creare variazioni o combinare parti richiede componenti ben definiti e completi.
La nostra soluzione: vedere la parte intera con HoloPart
Ispirato al concetto di percezione amodale (la nostra capacità di percepire oggetti interi anche quando sono parzialmente nascosti), il progetto HoloPart introduce la 3D Part Amodal Segmentation. Lo realizziamo attraverso un pratico approccio in due fasi:
- Segmentazione iniziale: per prima cosa sfruttiamo un metodo state-of-the-art esistente (come SAMPart3D) per ottenere le patch superficiali iniziali (le parti incomplete).
- Completamento delle parti con HoloPart: qui avviene la magia. Forniamo al nostro nuovo modello HoloPart il segmento di parte incompleto insieme al contesto dell'intera forma. HoloPart, costruito su una potente architettura diffusion transformer, quindi genera la geometria 3D completa e plausibile per quella parte.
Come funziona HoloPart:
HoloPart non si limita a "riempire i buchi". Basandosi sul solido prior generativo del nostro foundation model TripoSG, sfrutta una profonda comprensione della geometria 3D appresa attraverso un ampio pre-training su grandi dataset (come Objaverse) e un fine-tuning specializzato su dati parte-intero. HoloPart adatta la potente architettura diffusion transformer di TripoSG al compito specifico del completamento delle parti. La sua innovazione chiave risiede in un meccanismo di dual attention:
- Local Attention: si concentra intensamente sui dettagli geometrici a grana fine della patch superficiale di input per garantire che la parte completata si integri perfettamente con la geometria visibile.
- Context-Aware Attention: osserva l'intera forma e la posizione della parte al suo interno. Questo passaggio cruciale garantisce che la parte completata abbia senso a livello globale, mantenendo proporzioni, significato semantico e coerenza complessiva della forma.
Questo consente a HoloPart di ricostruire in modo intelligente la geometria nascosta, anche per parti complesse o occlusioni significative, rispettando al contempo la struttura complessiva dell'oggetto.
Risultati: parti complete, pronte all'azione
Abbiamo stabilito nuovi benchmark usando i dataset ABO e PartObjaverse-Tiny per valutare questo nuovo compito definito all'interno del progetto HoloPart. I nostri esperimenti mostrano che HoloPart supera significativamente gli attuali metodi state-of-the-art di completion delle forme quando vengono applicati a questo impegnativo compito di completamento delle parti.
Dal punto di vista qualitativo, la differenza è evidente: dove altri metodi spesso falliscono su strutture complesse o producono risultati incoerenti, HoloPart genera costantemente parti complete e ad alta fedeltà che si allineano splendidamente con la forma originale.
Sblocco delle applicazioni downstream
Generando parti complete, HoloPart sblocca una gamma di potenti applicazioni che in precedenza erano difficili o impossibili da ottenere automaticamente:
- Editing intuitivo: afferra, ridimensiona, sposta o sostituisci facilmente parti complete (come l'esempio dell'anello nella Fig 1, o le modifiche all'auto nella Fig 4a).
- Assegnazione dei materiali senza sforzo: applica texture o materiali in modo pulito a componenti interi (Fig 1, Fig 4c).
- Asset pronti per l'animazione: genera parti adatte al rigging e all'animazione.
- Elaborazione della geometria più intelligente: consente un remeshing più robusto e altre operazioni geometriche lavorando su parti coerenti (Fig 4b).
- Generazione consapevole delle parti: questo lavoro fornisce una base per futuri modelli generativi in grado di creare o manipolare forme 3D a livello di parte.
- Super-risoluzione geometrica: HoloPart mostra persino il potenziale per migliorare il dettaglio delle parti rappresentandole con un alto numero di token (Fig 5).
Inizia con HoloPart
Crediamo che la 3D Part Amodal Segmentation, come esplorata nel progetto HoloPart, sia un passo cruciale verso una creazione di contenuti 3D più intuitiva e potente. Stiamo rilasciando HoloPart con una licenza open-source per dare più strumenti a ricercatori e sviluppatori.
Siamo entusiasti di vedere cosa costruirà la community con questi strumenti. Tuffati, sperimenta e facci sapere cosa ne pensi!
