隆重推出 HoloPart：为任意 3D 形状生成完整、可编辑的部件

我们正在开源 HoloPart，这是一种新的生成模型，能够逐组件地理解 3D 形状，从而解锁强大的编辑、动画和创建工作流程。

您是否曾尝试编辑从网上下载、通过扫描捕获或由 AI 生成的 3D 模型？通常，它们是单一的“几何体块”，这使得调整、动画化或重新纹理化单个组件（例如椅子的腿或角色的眼镜）变得异常困难。现有的 3D 部件分割技术可以识别属于不同部件的_可见表面补丁_，但它们会留下破碎、不完整的片段（图 1a）。这从根本上限制了它们在实际内容创建中的实用性。
今天，我们很高兴推出 HoloPart，这是一种直接解决这一挑战的新方法和开源项目。HoloPart 引入了3D 部件跨模态分割任务：不仅将 3D 形状分解为可见的补丁，而且分解为底层_完整_、_语义上有意义_的部件，甚至推断出被遮挡的几何体（图 1b）。
HoloPart 的核心是我们开发的一种新颖的基于扩散的生成模型。我们今天发布代码、预训练的 HoloPart 模型和一个交互式演示，邀请社区在此工作基础上进行构建。

• 探索代码
• 下载 HoloPart 模型
• 试用演示
• 阅读论文

开发者可以在 Hugging Face 上试用。

问题：破碎的部件阻碍 3D 创作

摄影测量扫描、生成模型甚至许多人工制作的资产通常缺乏内部部件结构。虽然像 SAMPart3D 这样的方法可以智能地分割 3D 模型的_表面_，但它们无法“看穿”物体。如果您使用这些方法分割一枚戒指，您会得到宝石和戒圈的可见外表面，但不是完整的宝石形状或它们相交或被遮挡的完整戒圈。
这一限制是以下方面的主要瓶颈：

• 几何体编辑： 如果汽车模型的车轮与车身融合或不完整，您无法轻松调整_仅_车轮的大小。
• 动画： 绑定和动画部件需要它们是完整的对象。
• 材质分配： 应用不同的材质通常需要清晰、完整的部件边界。
• 程序生成和资产混合： 构建变体或组合部件需要定义良好、完整的组件。

我们的解决方案：使用 HoloPart 看到完整的部件

受跨模态感知概念（我们感知完整对象的能力，即使它们部分隐藏）的启发，HoloPart 项目引入了 3D 部件跨模态分割。我们通过实用的两阶段方法实现这一点：

1. 初始分割： 我们首先利用现有最先进的方法（如 SAMPart3D）获取初始表面补丁（不完整的部件）。
2. HoloPart 完成部件： 这就是神奇之处。我们将不完整的部件片段_以及整个形状的上下文_输入到我们新颖的 HoloPart 模型中。HoloPart 基于强大的扩散 Transformer 架构构建，然后_生成该部件的完整、合理的 3D 几何体_。

HoloPart 的工作原理：

HoloPart 不仅仅是“填充漏洞”。它建立在我们的 TripoSG 基础模型的强大生成先验之上，利用通过在大型数据集（如 Objaverse）上进行大量预训练以及在部件-整体数据上进行专门微调所学到的对 3D 几何体的深刻理解。HoloPart 将 TripoSG 中强大的扩散 Transformer 架构应用于部件完成的特定任务。其核心创新在于双重注意力机制：

• 局部注意力： 集中关注_输入表面补丁_的细粒度几何细节，以确保完成的部件与可见几何体无缝集成。
• 上下文感知注意力： 查看_整个形状_以及部件在其中的位置。这一关键步骤确保完成的部件在全局上是合理的——保持比例、语义意义和整体形状一致性。

这使得 HoloPart 能够智能地重建隐藏的几何体，即使对于复杂的部件或严重的遮挡，同时尊重对象的整体结构。

结果：完整的部件，随时待命

我们使用 ABO 和 PartObjaverse-Tiny 数据集建立了新的基准，以评估 HoloPart 项目中定义的这一新颖任务。我们的实验表明，HoloPart 在应用于这一具有挑战性的_部件_完成任务时，显著优于现有的最先进形状_完成_方法。

从质量上讲，差异是显而易见的：当其他方法通常在复杂结构上失败或产生不连贯的结果时，HoloPart 始终如一地生成完整、高保真度的部件，与原始形状完美契合。

解锁下游应用

通过生成完整的部件，HoloPart 解锁了一系列以前难以或不可能自动实现的强大应用：

• 直观编辑： 轻松抓取、调整大小、移动或替换完整的部件（例如图 1 中的戒指示例，或图 4a 中的汽车编辑）。
• 轻松材质分配： 将纹理或材质清晰地应用到整个组件（图 1，图 4c）。
• 动画就绪资产： 生成适合绑定和动画的部件。
• 更智能的几何体处理： 通过处理连贯的部件，实现更稳健的重新网格化和其他几何体操作（图 4b）。
• 部件感知生成： 这项工作为未来能够在部件级别创建或操纵 3D 形状的生成模型奠定了基础。
• 几何体超分辨率： HoloPart 甚至通过高令牌计数表示部件来显示增强部件细节的潜力（图 5）。

开始使用 HoloPart

我们相信，HoloPart 项目中探索的 3D 部件跨模态分割是迈向更直观、更强大的 3D 内容创作的关键一步。我们正在以开源许可发布 HoloPart，以赋能研究人员和开发者。

• 探索代码
• 下载 HoloPart 模型
• 试用演示
• 阅读论文

我们很高兴看到社区将用这些工具创造出什么。深入探索，进行实验，并告诉我们您的想法！