HoloPartの紹介：あらゆる3D形状に対して、編集可能な完全なパーツを生成
私たちは、3D形状をコンポーネントごとに理解し、強力な編集、アニメーション、および作成ワークフローを可能にする新しい生成モデルHoloPartをオープンソース化します。
オンラインでダウンロードした3Dモデル、スキャンからキャプチャしたモデル、またはAIによって生成されたモデルを編集しようとしたことがありますか？多くの場合、それらは単一の「塊」のジオメトリであり、椅子の脚やキャラクターのメガネのような個々のコンポーネントを微調整したり、アニメーション化したり、テクスチャを再適用したりするのが非常に困難です。既存の3Dパーツセグメンテーション技術は、異なるパーツに属する_目に見える表面パッチ_を識別できますが、壊れた不完全なパーツしか残りません（図1a）。これは、実際のコンテンツ作成におけるそれらの有用性を根本的に制限します。
本日、私たちはこの課題に正面から取り組む新しいアプローチとオープンソースプロジェクトであるHoloPartを発表できることを嬉しく思います。HoloPartは、3Dパーツアモーダルセグメンテーションというタスクを導入します。これは、3D形状を目に見えるパッチだけでなく、完全な、_意味のある_基盤となるパーツに分解し、隠れたジオメトリでさえ推論します（図1b）。
HoloPartの核となるのは、私たちが開発した新しい拡散ベースの生成モデルです。本日、コード、事前学習済みHoloPartモデル、およびインタラクティブなデモを公開し、コミュニティがこの作業に基づいて構築することを奨励します。
開発者はHugging Faceで試すことができます。
問題：壊れたパーツが3D制作を妨げている
フォトグラメトリースキャン、生成モデル、さらには多くの手作業で作成されたアセットでさえ、内部パーツ構造が欠けていることがよくあります。SAMPart3Dのような手法は3Dモデルの_表面_をスマートにセグメント化できますが、オブジェクトを「透視」することはできません。これらの手法を使用してリングをセグメント化すると、宝石の目に見える外側の表面とバンドが得られますが、完全な宝石の形状や、それらが交差したり隠されたりしている場所の完全なリングバンドは得られません。
この制限は、以下の主要なボトルネックとなります。
- ジオメトリ編集： 車のモデルのホイールがボディと一体化しているか不完全な場合、_ホイールだけ_のサイズを簡単に変更することはできません。
- アニメーション： パーツのリギングとアニメーションには、それらが完全なオブジェクトである必要があります。
- マテリアル割り当て： 異なるマテリアルを適用するには、クリーンで完全なパーツの境界線が必要になることがよくあります。
- プロシージャル生成とアセットのリミックス： バリエーションを構築したり、パーツを組み合わせたりするには、明確に定義された完全なコンポーネントが必要です。
HoloPartによる私たちの解決策：パーツ全体をHoloPartで見る
アモーダル知覚（部分的に隠されていてもオブジェクト全体を知覚する能力）の概念に触発され、HoloPartプロジェクトは3Dパーツアモーダルセグメンテーションを導入します。私たちはこれを実用的な2段階アプローチで達成します。
- 初期セグメンテーション： まず、既存の最先端の手法（SAMPart3Dなど）を活用して、初期の表面パッチ（不完全なパーツ）を取得します。
- HoloPartによるパーツの完了： ここで魔法が起こります。不完全なパーツセグメントを_形状全体のコンテキストと共に_、私たちの新しいHoloPartモデルに供給します。強力な拡散トランスフォーマーアーキテクチャに基づいて構築されたHoloPartは、そのパーツの_完全で妥当な3Dジオメトリを生成します_。
HoloPartの仕組み：
HoloPartは単に「穴を埋める」だけではありません。**TripoSG基盤モデルの強力な生成事前知識に基づいて構築されており、**大規模なデータセット（Objaverseなど）での広範な事前学習と、パーツ全体データでの特殊なファインチューニングを通じて学習された3Dジオメトリの深い理解を活用しています。HoloPartは、TripoSGの強力な拡散トランスフォーマーアーキテクチャをパーツ完了の特定のタスクに適合させます。その主要なイノベーションは、デュアルアテンションメカニズムにあります。
- ローカルアテンション： _入力表面パッチ_の微細な幾何学的詳細に集中的に焦点を当て、完了したパーツが可視ジオメトリとシームレスに統合されるようにします。
- コンテキストアウェアアテンション： _形状全体_と、その中でパーツがどこに位置するかを考慮します。この重要なステップは、完了したパーツがグローバルに意味をなすことを保証します。つまり、プロポーション、意味、および全体的な形状の一貫性を維持します。
これにより、HoloPartは、複雑なパーツや大幅な遮蔽の場合でも、オブジェクトの全体構造を尊重しながら、隠れたジオメトリをインテリジェントに再構築できます。
結果：すぐに使える完全なパーツ
私たちは、HoloPartプロジェクト内で定義されたこの新しいタスクを評価するために、ABOおよびPartObjaverse-Tinyデータセットを使用して新しいベンチマークを確立しました。私たちの実験では、HoloPartが、この困難な_パーツ_完了タスクに適用した場合に、既存の最先端の形状_完了_手法を大幅に上回ることが示されています。
定性的に、その違いは明らかです。他の手法が複雑な構造で失敗したり、一貫性のない結果を生成したりすることが多いのに対し、HoloPartは、元の形状と美しく調和する完全で高忠実度のパーツを一貫して生成します。
下流アプリケーションの可能性を解き放つ
完全なパーツを生成することで、HoloPartは、これまで自動的に達成することが困難または不可能だった、一連の強力なアプリケーションを可能にします。
- 直感的な編集： 完全なパーツ（図1のリングの例、または図4aの車の編集など）を簡単に掴んだり、サイズ変更したり、移動したり、置き換えたりできます。
- 簡単なマテリアル割り当て： テクスチャやマテリアルを完全なコンポーネントにきれいに適用します（図1、図4c）。
- アニメーション対応アセット： リギングとアニメーションに適したパーツを生成します。
- よりスマートなジオメトリ処理： 一貫性のあるパーツで作業することで、より堅牢なリメッシュやその他のジオメトリ操作を可能にします（図4b）。
- パーツ認識生成： この作業は、パーツレベルで3D形状を作成または操作できる将来の生成モデルの基盤を提供します。
- ジオメトリ超解像度： HoloPartは、高いトークン数でパーツを表現することで、パーツの詳細を向上させる可能性さえ示しています（図5）。
HoloPartを始める
HoloPartプロジェクトで探求されている3Dパーツアモーダルセグメンテーションは、より直感的で強力な3Dコンテンツ作成に向けた重要な一歩であると信じています。私たちは、研究者や開発者を支援するために、HoloPartをオープンソースライセンスの下で公開しています。
コミュニティがこれらのツールで何を構築するかを見るのが楽しみです。ぜひ飛び込んで、試してみて、ご意見をお聞かせください！
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
HoloPartの紹介：あらゆる3D形状に対して、編集可能な完全なパーツを生成
私たちは、3D形状をコンポーネントごとに理解し、強力な編集、アニメーション、および作成ワークフローを可能にする新しい生成モデルHoloPartをオープンソース化します。
オンラインでダウンロードした3Dモデル、スキャンからキャプチャしたモデル、またはAIによって生成されたモデルを編集しようとしたことがありますか？多くの場合、それらは単一の「塊」のジオメトリであり、椅子の脚やキャラクターのメガネのような個々のコンポーネントを微調整したり、アニメーション化したり、テクスチャを再適用したりするのが非常に困難です。既存の3Dパーツセグメンテーション技術は、異なるパーツに属する_目に見える表面パッチ_を識別できますが、壊れた不完全なパーツしか残りません（図1a）。これは、実際のコンテンツ作成におけるそれらの有用性を根本的に制限します。
本日、私たちはこの課題に正面から取り組む新しいアプローチとオープンソースプロジェクトであるHoloPartを発表できることを嬉しく思います。HoloPartは、3Dパーツアモーダルセグメンテーションというタスクを導入します。これは、3D形状を目に見えるパッチだけでなく、完全な、_意味のある_基盤となるパーツに分解し、隠れたジオメトリでさえ推論します（図1b）。
HoloPartの核となるのは、私たちが開発した新しい拡散ベースの生成モデルです。本日、コード、事前学習済みHoloPartモデル、およびインタラクティブなデモを公開し、コミュニティがこの作業に基づいて構築することを奨励します。
開発者はHugging Faceで試すことができます。
問題：壊れたパーツが3D制作を妨げている
フォトグラメトリースキャン、生成モデル、さらには多くの手作業で作成されたアセットでさえ、内部パーツ構造が欠けていることがよくあります。SAMPart3Dのような手法は3Dモデルの_表面_をスマートにセグメント化できますが、オブジェクトを「透視」することはできません。これらの手法を使用してリングをセグメント化すると、宝石の目に見える外側の表面とバンドが得られますが、完全な宝石の形状や、それらが交差したり隠されたりしている場所の完全なリングバンドは得られません。
この制限は、以下の主要なボトルネックとなります。
- ジオメトリ編集： 車のモデルのホイールがボディと一体化しているか不完全な場合、_ホイールだけ_のサイズを簡単に変更することはできません。
- アニメーション： パーツのリギングとアニメーションには、それらが完全なオブジェクトである必要があります。
- マテリアル割り当て： 異なるマテリアルを適用するには、クリーンで完全なパーツの境界線が必要になることがよくあります。
- プロシージャル生成とアセットのリミックス： バリエーションを構築したり、パーツを組み合わせたりするには、明確に定義された完全なコンポーネントが必要です。
HoloPartによる私たちの解決策：パーツ全体をHoloPartで見る
アモーダル知覚（部分的に隠されていてもオブジェクト全体を知覚する能力）の概念に触発され、HoloPartプロジェクトは3Dパーツアモーダルセグメンテーションを導入します。私たちはこれを実用的な2段階アプローチで達成します。
- 初期セグメンテーション： まず、既存の最先端の手法（SAMPart3Dなど）を活用して、初期の表面パッチ（不完全なパーツ）を取得します。
- HoloPartによるパーツの完了： ここで魔法が起こります。不完全なパーツセグメントを_形状全体のコンテキストと共に_、私たちの新しいHoloPartモデルに供給します。強力な拡散トランスフォーマーアーキテクチャに基づいて構築されたHoloPartは、そのパーツの_完全で妥当な3Dジオメトリを生成します_。
HoloPartの仕組み：
HoloPartは単に「穴を埋める」だけではありません。**TripoSG基盤モデルの強力な生成事前知識に基づいて構築されており、**大規模なデータセット（Objaverseなど）での広範な事前学習と、パーツ全体データでの特殊なファインチューニングを通じて学習された3Dジオメトリの深い理解を活用しています。HoloPartは、TripoSGの強力な拡散トランスフォーマーアーキテクチャをパーツ完了の特定のタスクに適合させます。その主要なイノベーションは、デュアルアテンションメカニズムにあります。
- ローカルアテンション： _入力表面パッチ_の微細な幾何学的詳細に集中的に焦点を当て、完了したパーツが可視ジオメトリとシームレスに統合されるようにします。
- コンテキストアウェアアテンション： _形状全体_と、その中でパーツがどこに位置するかを考慮します。この重要なステップは、完了したパーツがグローバルに意味をなすことを保証します。つまり、プロポーション、意味、および全体的な形状の一貫性を維持します。
これにより、HoloPartは、複雑なパーツや大幅な遮蔽の場合でも、オブジェクトの全体構造を尊重しながら、隠れたジオメトリをインテリジェントに再構築できます。
結果：すぐに使える完全なパーツ
私たちは、HoloPartプロジェクト内で定義されたこの新しいタスクを評価するために、ABOおよびPartObjaverse-Tinyデータセットを使用して新しいベンチマークを確立しました。私たちの実験では、HoloPartが、この困難な_パーツ_完了タスクに適用した場合に、既存の最先端の形状_完了_手法を大幅に上回ることが示されています。
定性的に、その違いは明らかです。他の手法が複雑な構造で失敗したり、一貫性のない結果を生成したりすることが多いのに対し、HoloPartは、元の形状と美しく調和する完全で高忠実度のパーツを一貫して生成します。
下流アプリケーションの可能性を解き放つ
完全なパーツを生成することで、HoloPartは、これまで自動的に達成することが困難または不可能だった、一連の強力なアプリケーションを可能にします。
- 直感的な編集： 完全なパーツ（図1のリングの例、または図4aの車の編集など）を簡単に掴んだり、サイズ変更したり、移動したり、置き換えたりできます。
- 簡単なマテリアル割り当て： テクスチャやマテリアルを完全なコンポーネントにきれいに適用します（図1、図4c）。
- アニメーション対応アセット： リギングとアニメーションに適したパーツを生成します。
- よりスマートなジオメトリ処理： 一貫性のあるパーツで作業することで、より堅牢なリメッシュやその他のジオメトリ操作を可能にします（図4b）。
- パーツ認識生成： この作業は、パーツレベルで3D形状を作成または操作できる将来の生成モデルの基盤を提供します。
- ジオメトリ超解像度： HoloPartは、高いトークン数でパーツを表現することで、パーツの詳細を向上させる可能性さえ示しています（図5）。
HoloPartを始める
HoloPartプロジェクトで探求されている3Dパーツアモーダルセグメンテーションは、より直感的で強力な3Dコンテンツ作成に向けた重要な一歩であると信じています。私たちは、研究者や開発者を支援するために、HoloPartをオープンソースライセンスの下で公開しています。
コミュニティがこれらのツールで何を構築するかを見るのが楽しみです。ぜひ飛び込んで、試してみて、ご意見をお聞かせください！
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.