介紹 HoloPart：為任何 3D 形狀生成完整、可編輯的部件
我們正在開源 HoloPart，這是一個全新的生成式模型，能夠逐一理解 3D 形狀的組件，解鎖強大的編輯、動畫與創作工作流程。
你是否曾嘗試編輯從網路下載、由掃描取得，或由 AI 生成的 3D 模型？它們通常是單一「塊狀」幾何體，因此要調整、製作動畫或重新貼圖單一組件，例如椅腳或角色的眼鏡，都變得極其困難。現有的 3D 部件分割技術可以識別屬於不同部件的_可見表面區塊_，但它們留下的是破碎、不完整的片段（圖 1a）。這從根本上限制了它們在真實內容創作中的實用性。
今天，我們很高興介紹 HoloPart，這是一種正面應對此挑戰的新方法與開源專案。HoloPart 提出了 3D 部件非模態分割（3D Part Amodal Segmentation）任務：將 3D 形狀不只是分解成可見區塊，而是分解成其底層_完整_、_具語義意義_的部件，甚至能推斷因遮擋而隱藏的幾何形狀（圖 1b）。
HoloPart 的核心，是我們開發的一個新穎的基於 diffusion 的生成式模型。今天我們將發布程式碼、預訓練的 HoloPart 模型與互動式 demo，邀請社群在此工作的基礎上繼續建構。
開發者可以在 Hugging Face 上試用。
問題：破碎的部件阻礙 3D 創作
攝影測量掃描、生成式模型，甚至許多人類製作的資產，通常都缺乏內部部件結構。雖然像 SAMPart3D 這類方法可以聰明地分割 3D 模型的_表面_，但它們無法「看穿」物體。如果你用這些方法分割一枚戒指，你會得到寶石與戒圈的可見外表面，但得不到完整的寶石形狀，也得不到它們相交或被遮擋處的完整戒圈。
這項限制是以下工作的主要瓶頸：
- 幾何編輯： 如果汽車模型的輪子與車身融合在一起或不完整，你就無法輕易只調整_輪子_的大小。
- 動畫： 綁定與動畫化部件需要它們是完整物件。
- 材質指定： 套用不同材質通常需要乾淨、完整的部件邊界。
- 程序化生成與資產重混： 建立變體或組合部件需要定義良好、完整的組件。
我們的解決方案：用 HoloPart 看見完整部件
受到非模態感知概念的啟發（也就是即使物體部分被遮住，我們仍能感知其整體的能力），HoloPart 專案提出了 3D 部件非模態分割。我們透過實用的兩階段方法實現：
- 初始分割： 我們首先利用現有的最先進方法（如 SAMPart3D）取得初始表面區塊（不完整部件）。
- 使用 HoloPart 完成部件： 魔法就在這裡發生。我們將不完整的部件分割結果_連同整個形狀的上下文_輸入到我們新穎的 HoloPart 模型中。HoloPart 建構於強大的 diffusion transformer 架構之上，接著會為該部件_生成完整且合理的 3D 幾何形狀_。
HoloPart 的運作方式：
HoloPart 並不只是「填補孔洞」。它建立在我們 TripoSG foundation model 強大的生成式先驗之上，利用透過大規模資料集（如 Objaverse）廣泛預訓練，以及在部件-整體資料上專門微調所學到的 3D 幾何深度理解。HoloPart 將 TripoSG 的強大 diffusion transformer 架構調整用於部件完成這項特定任務。其關鍵創新在於雙重注意力機制：
- Local Attention： 高度聚焦於_輸入表面區塊_的細粒度幾何細節，確保完成後的部件能與可見幾何無縫整合。
- Context-Aware Attention： 觀察_整個形狀_以及部件在其中的位置。這個關鍵步驟確保完成後的部件在全域上合理——維持比例、語義意義與整體形狀一致性。
這讓 HoloPart 能夠智慧地重建隱藏幾何，即使面對複雜部件或大幅遮擋，也能同時尊重物體的整體結構。
結果：完整部件，立即可用
我們使用 ABO 與 PartObjaverse-Tiny 資料集建立了新的基準，用於評估 HoloPart 專案中定義的這項新穎任務。我們的實驗顯示，當套用於這項具有挑戰性的_部件_完成任務時，HoloPart 明顯優於現有最先進的形狀_完成_方法。
從質性結果來看，差異十分明顯：其他方法往往在複雜結構上失敗，或產生不連貫的結果，而 HoloPart 則能穩定生成完整、高保真的部件，並與原始形狀漂亮對齊。
解鎖下游應用
透過生成完整部件，HoloPart 解鎖了一系列以往難以或不可能自動實現的強大應用：
- 直覺式編輯： 輕鬆抓取、調整大小、移動或替換完整部件（例如圖 1 的戒指範例，或圖 4a 的汽車編輯）。
- 輕鬆指定材質： 將紋理或材質乾淨地套用到完整組件上（圖 1、圖 4c）。
- 可用於動畫的資產： 生成適合綁定與動畫的部件。
- 更智慧的幾何處理： 透過在連貫部件上作業，實現更穩健的重新網格化與其他幾何操作（圖 4b）。
- 部件感知生成： 這項工作為未來能在部件層級創建或操控 3D 形狀的生成式模型奠定基礎。
- 幾何超解析度： HoloPart 甚至展現了透過高 token 數表示部件來增強部件細節的潛力（圖 5）。
開始使用 HoloPart
我們相信，HoloPart 專案所探索的 3D 部件非模態分割，是邁向更直覺且更強大的 3D 內容創作的重要一步。我們以開源授權發布 HoloPart，以賦能研究人員與開發者。
我們很期待看到社群用這些工具打造出什麼。歡迎深入探索、嘗試實驗，並告訴我們你的想法！
