Tripo Doodle (TripoSG Scribble): スケッチとテキストで3Dアイデアを瞬時に具現化
SIGGRAPH Asia 2024の「Real-Time LIVE!」にて、VAST (Tripo) は、シンプルな2Dスケッチとテキストプロンプトから詳細な3Dモデルをリアルタイムで生成するインタラクティブツール、Tripo Doodle (社内ではTripoSG Scribbleと呼称) を発表しました。従来の3Dモデリングは、特に形状のブロッキング段階において、習得に高いハードルとかなりの時間投資を伴うことがよくありました。Tripo Doodleは、この障壁を劇的に低減し、経験豊富なプロフェッショナルから初心者まで、前例のない容易さで3Dコンセプトを視覚化し、反復できる直感的で超高速なワークフローを提供します。ライブデモンストレーションで示されたように、ユーザーは文字通り「落書き」するだけで3Dアセットを作成でき、複雑なツールではなく、アイデアに創造的なエネルギーを集中させることができます。
VAST (Tripo) は、その主要コンポーネントと洞察をオープンソース化することを発表できることを嬉しく思います。
Tripo Doodleとは？SIGGRAPHのステージからあなたの指先へ
Tripo Doodleは、3D制作プロセスを抜本的に簡素化し、加速するために設計された新しいインターフェースです。ユーザーは以下のことが可能です。
- 直感的なスケッチ: キャンバスにシンプルな2Dの形状や線を描画します。
- テキストプロンプトの追加: テキストを介して意味的なコンテキストや特定の属性を提供します。
- 瞬時生成: これらの入力に基づいて、詳細な3Dモデルがリアルタイムで表示され、更新されます。
SIGGRAPH Asia 2024 Real-Time LIVE!でデビューしたTripo Doodleは、3Dモデリングが落書きのように流動的でアクセスしやすい未来を披露し、観客を魅了しました。これは、特に初期のアセットブロッキング段階における、従来の3Dワークフローのしばしば高い学習曲線と時間のかかる性質に直接対処し、クリエイターが純粋にアイデアに集中できるようにします。
コアテクノロジー: リアルタイムインタラクションのためのTripoSGの拡張
Tripo Doodleはゼロから構築されたものではなく、VASTの最先端のTripoSG基盤モデルのパワーを活用し、リアルタイムのマルチモーダルインタラクションのための特定のイノベーションでそれを拡張しています。
- TripoSGベースモデル: 基盤となるエンジンはTripoSGであり、これは画像から3D形状を生成するモデルです。これにより、コンディショニング入力（通常、ベースモデルでは画像）から直接、高忠実度の3Dメッシュを生成できます。これは、カスタムのVariational Autoencoder (VAE) によって管理される正確な**Signed Distance Function (SDF)**表現を使用して、厳選されたデータでトレーニングされています。
- マルチモーダルコンディショニング（スケッチ + テキスト）: Tripo Doodleは、スケッチとテキストの両方の入力を同時に理解し、統合するメカニズムを組み込むことでTripoSGを強化します。
- スケッチガイダンス: 2D描画は強力な幾何学的制約を提供し、コアな形状、構造、ポーズを定義します。
- テキストガイダンス: 自然言語プロンプトは意味的な解釈を導き、オブジェクトの種類、スタイル、特定の機能（例：「ドラゴン」を追加すると、一般的なモンスターのスケッチがドラゴンに変わる）に影響を与えます。
- リアルタイム最適化（例：蒸留）: インタラクティブな「落書き」体験に不可欠な、ほぼ瞬時の生成速度を達成するために、CFG蒸留などの技術が採用されています。より小さな最適化されたモデルは、より大きなTripoSGモデルの出力を再現するようにトレーニングされ、連続的なユーザー入力に基づくリアルタイム更新に適した高速な推論を可能にします。
アイデアを形にする
SIGGRAPH Asia 2024 Real-Time LIVE!のデモンストレーションでは、Tripo Doodleの威力が示されました。
- 簡単な作成: 植物、テーブル、指輪、またはモンスターのシンプルなスケッチが、瞬時に3Dオブジェクトに変換されました。
- ライブでの反復: スケッチが描かれたり、消去されたり、修正されたり、テキストプロンプトが追加または変更されたりする（例：一般的なモンスターを「カメモンスター」や翼を追加した「ドラゴンモンスター」に変換する）と、3Dモデルは動的に更新されました。
- 創造的な探求: 「Randomize」機能により、同じスケッチ/テキスト入力に対して、さまざまな有効な3D解釈を素早く切り替えることができました。
- アクセシビリティ: 観客が30秒以内にモンスターを作成する「Doodle 1v1」セグメントでは、初めてのユーザーでもこのツールがいかに直感的で高速であるかが強調されました。「トマトモンスター」や「イモムシモンスター」といった例は、数秒で達成可能な創造的（そして時には驚くべき！）結果を示しました。
さらに詳しく
VASTは、オープンコラボレーションを通じて分野を進歩させることに尽力しています。TripoSG ScribbleとTripoSGの両方がオープンソース化されています。
私たちは、研究および開発コミュニティがTripoSGとTripo Doodleの背後にあるコンセプトを探求し、それらを基に構築し、3D AIの未来を形作る手助けをすることを歓迎します。
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Tripo Doodle (TripoSG Scribble): スケッチとテキストで3Dアイデアを瞬時に具現化
SIGGRAPH Asia 2024の「Real-Time LIVE!」にて、VAST (Tripo) は、シンプルな2Dスケッチとテキストプロンプトから詳細な3Dモデルをリアルタイムで生成するインタラクティブツール、Tripo Doodle (社内ではTripoSG Scribbleと呼称) を発表しました。従来の3Dモデリングは、特に形状のブロッキング段階において、習得に高いハードルとかなりの時間投資を伴うことがよくありました。Tripo Doodleは、この障壁を劇的に低減し、経験豊富なプロフェッショナルから初心者まで、前例のない容易さで3Dコンセプトを視覚化し、反復できる直感的で超高速なワークフローを提供します。ライブデモンストレーションで示されたように、ユーザーは文字通り「落書き」するだけで3Dアセットを作成でき、複雑なツールではなく、アイデアに創造的なエネルギーを集中させることができます。
VAST (Tripo) は、その主要コンポーネントと洞察をオープンソース化することを発表できることを嬉しく思います。
Tripo Doodleとは？SIGGRAPHのステージからあなたの指先へ
Tripo Doodleは、3D制作プロセスを抜本的に簡素化し、加速するために設計された新しいインターフェースです。ユーザーは以下のことが可能です。
- 直感的なスケッチ: キャンバスにシンプルな2Dの形状や線を描画します。
- テキストプロンプトの追加: テキストを介して意味的なコンテキストや特定の属性を提供します。
- 瞬時生成: これらの入力に基づいて、詳細な3Dモデルがリアルタイムで表示され、更新されます。
SIGGRAPH Asia 2024 Real-Time LIVE!でデビューしたTripo Doodleは、3Dモデリングが落書きのように流動的でアクセスしやすい未来を披露し、観客を魅了しました。これは、特に初期のアセットブロッキング段階における、従来の3Dワークフローのしばしば高い学習曲線と時間のかかる性質に直接対処し、クリエイターが純粋にアイデアに集中できるようにします。
コアテクノロジー: リアルタイムインタラクションのためのTripoSGの拡張
Tripo Doodleはゼロから構築されたものではなく、VASTの最先端のTripoSG基盤モデルのパワーを活用し、リアルタイムのマルチモーダルインタラクションのための特定のイノベーションでそれを拡張しています。
- TripoSGベースモデル: 基盤となるエンジンはTripoSGであり、これは画像から3D形状を生成するモデルです。これにより、コンディショニング入力（通常、ベースモデルでは画像）から直接、高忠実度の3Dメッシュを生成できます。これは、カスタムのVariational Autoencoder (VAE) によって管理される正確な**Signed Distance Function (SDF)**表現を使用して、厳選されたデータでトレーニングされています。
- マルチモーダルコンディショニング（スケッチ + テキスト）: Tripo Doodleは、スケッチとテキストの両方の入力を同時に理解し、統合するメカニズムを組み込むことでTripoSGを強化します。
- スケッチガイダンス: 2D描画は強力な幾何学的制約を提供し、コアな形状、構造、ポーズを定義します。
- テキストガイダンス: 自然言語プロンプトは意味的な解釈を導き、オブジェクトの種類、スタイル、特定の機能（例：「ドラゴン」を追加すると、一般的なモンスターのスケッチがドラゴンに変わる）に影響を与えます。
- リアルタイム最適化（例：蒸留）: インタラクティブな「落書き」体験に不可欠な、ほぼ瞬時の生成速度を達成するために、CFG蒸留などの技術が採用されています。より小さな最適化されたモデルは、より大きなTripoSGモデルの出力を再現するようにトレーニングされ、連続的なユーザー入力に基づくリアルタイム更新に適した高速な推論を可能にします。
アイデアを形にする
SIGGRAPH Asia 2024 Real-Time LIVE!のデモンストレーションでは、Tripo Doodleの威力が示されました。
- 簡単な作成: 植物、テーブル、指輪、またはモンスターのシンプルなスケッチが、瞬時に3Dオブジェクトに変換されました。
- ライブでの反復: スケッチが描かれたり、消去されたり、修正されたり、テキストプロンプトが追加または変更されたりする（例：一般的なモンスターを「カメモンスター」や翼を追加した「ドラゴンモンスター」に変換する）と、3Dモデルは動的に更新されました。
- 創造的な探求: 「Randomize」機能により、同じスケッチ/テキスト入力に対して、さまざまな有効な3D解釈を素早く切り替えることができました。
- アクセシビリティ: 観客が30秒以内にモンスターを作成する「Doodle 1v1」セグメントでは、初めてのユーザーでもこのツールがいかに直感的で高速であるかが強調されました。「トマトモンスター」や「イモムシモンスター」といった例は、数秒で達成可能な創造的（そして時には驚くべき！）結果を示しました。
さらに詳しく
VASTは、オープンコラボレーションを通じて分野を進歩させることに尽力しています。TripoSG ScribbleとTripoSGの両方がオープンソース化されています。
私たちは、研究および開発コミュニティがTripoSGとTripo Doodleの背後にあるコンセプトを探求し、それらを基に構築し、3D AIの未来を形作る手助けをすることを歓迎します。
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.