AIによる3D生成がモバイル3Dスキャンの可能性を広げる方法

2つのツール、2つの異なる役割

今日の多くのクリエイターにとって、3D制作はたいてい2つの出発点のどちらかから始まります。アイデアか、現実世界かです。

ひとつはAI生成です。Tripoのようなツールを使えば、テキストプロンプト、スケッチ、または参考画像から数秒で3Dモデルを作成できます。スピーディーで創造性が高く、スキャン機器や専門的なセットアップも不要です。

もうひとつはモバイル3Dスキャンです。たとえばKIRI Engineは、スマートフォンだけを使って、現実世界に存在するオブジェクトや環境を、正確なジオメトリ・サーフェステクスチャ・マテリアルの細部まで忠実に取り込みます。

この2つは競合するアプローチではありません。それぞれが異なる課題を解決します。組み合わせることで、どちらか一方だけでは対応しきれないクリエイティブパイプラインの広い範囲をカバーできます。

モバイル3Dスキャンが得意なこと

モバイル3Dスキャンは、すでに存在するものを取り込みます。物理的なオブジェクトの実際の形状、本物のサーフェステクスチャ、マテリアルへの光の当たり方などです。AI生成はこれらを近似できますが、情報が現実そのものから来ている以上、現実世界の精度が求められる場面では完全な代替にはなりません。

KIRI Engineはスキャン対象に応じて3つのキャプチャモードを提供しています。

• フォトグラメトリーは数十枚から数百枚の写真を撮影し、正確なジオメトリとカラーマップを再構築します。表面の細部やテクスチャが明確なオブジェクトに最適です。
• LiDARは対応iPhoneの深度センサーを使用し、実際のスケールで空間を素早くスキャンします。特に室内や広い空間に適しています。KIRI EngineではLiDARスキャンにAIによる強化処理を加えてサーフェスの細部を改善することもでき、空間の参考資料やシーンの土台としてより活用しやすくなります。
• **3D Gaussian Splatting（3DGS）**は、従来のmeshジオメトリを起点とせずに、オブジェクトやシーンの視覚的な外観を取り込みます。複雑なマテリアル、有機的なサーフェス、従来のフォトグラメトリーでは再構築が難しい環境全体に有効です。KIRI Engineには3DGSからmeshへの変換機能が内蔵されており、後工程でpolygonモデルが必要な場合にモバイル上でsplatキャプチャをmeshアセットに変換できます。

こうして得られる高精度な3Dキャプチャは、さらなるクリエイティブ作業の強固な土台となります。

AI生成がスキャンワークフローにもたらすもの

高精度なスキャンは現実世界に基づいた強固な土台を提供します。ただし用途によっては、軽量なmesh、新しいマテリアルの方向性、またはシーンを完成させるための追加アセットが必要になることもあります。ここでTripoがワークフローを拡張します。

• Retopologyはpolygon数を大幅に削減しながら、スキャンしたジオメトリの見た目を保ちます。リアルタイムワークフローや3Dツールに適したクリーンなQuadトポロジーを生成します。
• テクスチャ生成はスキャンしたアセットのサーフェスマテリアルを置き換えたり変換したりすることで、同じジオメトリから全く新しいビジュアル表現を生み出します。
• アセット生成は新しい3Dオブジェクトやキャラクターを作成し、スキャンした現実世界の環境に直接配置できます。

これらはいずれも、スキャン後にクリエイターができることを広げるものです。

ワークフロー1：現実の彫刻からゲーム向けアセットへ

実例：KIRI Engineでスキャンした塗装済みフィギュア

精細なフィギュアはこのワークフローの格好のテストケースです。衣服のひだ、顔の造形、躍動感ある歩行ポーズなど、複雑なサーフェスの細部を持つこのオブジェクトは、手作業でモデリングすれば何時間もかかりますが、フォトグラメトリーでは精度よく取り込めます。

ステップ1：KIRI Engineでスキャンする

フォトスキャンモードを使用し、複数の角度と高さからオブジェクトを撮影します。このサイズのフィギュアであれば、全体のシルエットをカバーする60〜80枚の写真で十分です。KIRI Engineは自動で再構築処理を行い、ジオメトリとテクスチャマップを保持したGLBファイルをエクスポートします。

ステップ2：テクスチャ生成でスタイルを変える

今回のテストでは、retopologyの前にテクスチャ生成を行う方が良い結果が得られることがわかりました。スキャンのジオメトリが完全な状態であれば、Tripoがマテリアルの方向性を解釈する際により多くのサーフェス情報を活用できます。先にpolygon数を減らすと、テクスチャ生成に使えるサーフェス情報が制限される可能性があります。

この点を踏まえ、「stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style」というプロンプトを使用し、スキャンしたフィギュアをスタイライズされたファンタジーRPG風のキャラクターアセットとして再解釈しました。ポーズとプロポーションは現実のスキャンから、ビジュアルスタイルはTripoから生まれています。

ステップ3：Tripoでretopologyを行う

ビジュアルの方向性が決まったら、アセットのpolygon数を削減するためにretopologyを実行します。元のスキャンは40,296トライアングルでしたが、retopology後は9,566面のQuadトポロジーとなり、約76%の削減を達成しながら、ポーズ・プロポーション・全体のシルエットを維持しています。

1つの物理オブジェクト、1回のスキャン。このワークフローにより、現実の彫刻をゼロから手作業で作り直すことなく、軽量でスタイライズされたゲーム向けアセットに変換できます。

ワークフロー2：現実の人物とAIキャラクターが同じシーンに共存する

実例：3DGSでキャプチャした人物とAI生成キャラクターの組み合わせ

3D Gaussian Splattingの特に魅力的な用途のひとつが、実在する人物のキャプチャです。3DGSは人物とその周囲の環境を1回の連続した撮影でまとめて取り込むのに適しており、リアルなライティング、衣服の細部、空間的なコンテキストをすべて一度に保存できます。

ステップ1：KIRI Engineの3D Gaussian Splattingで人物をキャプチャする

3D Gaussian Splattingで人物をスキャンするには、オブジェクトのスキャンよりも少し注意が必要です。被写体はキャプチャ中できるだけ静止している必要があり、呼吸や重心移動のような小さな動きでさえ、再構築にブレを生じさせる可能性があります。今回は被写体にリラックスしたポーズを保ってもらい、撮影中の動きを最小限に抑えるよう依頼しました。

高角度・目線の高さ・低角度の3段階の高さから、それぞれ被写体の周りを歩きながら撮影します。これにより、アルゴリズムが全身を正確に再構築するのに十分な情報が得られます。KIRI Engineは映像を処理して、人物と周囲の環境の両方を含む3DGSシーンを生成し、撮影場所の実際のライティングと空間的なコンテキストを保持します。

ステップ2：Tripoでキャラクターを生成する

最終的な結果をより細かくコントロールするため、まずTripoのtext-to-image生成で参考画像を作成し、その画像をTripoのimage-to-3Dワークフローに入力しました。text-to-3Dは素早いアイデア出しに便利ですが、先に生成した参考画像を使うことで、最終的なビジュアルの方向性をより細かく制御できました。

生成されたキャラクターは標準的な3D meshとしてエクスポートされました。フラットシェーディング、クリーンなライン、鮮やかな色使いというそのビジュアルスタイルは、フォトリアルなスキャン人物と意図的に対比させています。

ステップ3：KIRI EngineのBlenderプラグインを使ってBlenderで合成する

3DGSシーンは.plyファイルとしてエクスポートされます。Blenderに取り込むには、KIRI EngineのオープンソースBlenderプラグインを使用しました。このプラグインは3DGSシーンを標準の3Dアセットと並んでネイティブオブジェクトとして読み込みます。Tripoで生成したキャラクターは標準meshとしてインポートし、スキャンした人物の隣にシーン内で配置しました。

KIRI EngineのBlenderプラグインは現実世界の3DGSキャプチャをシーンオブジェクトとして読み込み、Tripoで生成したキャラクターは標準の3D meshとしてインポートされます。これにより、同じBlenderワークスペース内に現実とAIが混在するシーンが完成します。

結果として、3DGSでキャプチャした実在の人物とAI生成のスタイライズされたキャラクターが同じ空間に共存する1つのシーンが生まれます。このシーンはさらに様々なクリエイティブな方向性の出発点として活用できます。ゲームのプロトタイピング、コンセプトビジュアライゼーション、バーチャルプロダクションのテスト、あるいは現実とAIが混在するストーリーテリングなどです。

スキャンした要素はリアリティと空間的な根拠を与え、AI生成のキャラクターは物理世界には存在しないコンテンツを加えます。この組み合わせは、現実世界の3DGSキャプチャが静的なスキャンにとどまらず、より広いクリエイティブシーンの土台になれることを示しています。

スキャンは現実世界を、AI生成はその先のすべてをもたらす

どちらのツールも、もう一方の代わりにはなりません。Tripoが最適なのは、想像から何かを作り上げるとき、つまりアセットがまだ存在せず、スピードとクリエイティブな柔軟性が最優先される場面です。KIRI Engineが最適なのは、現実への忠実さが求められるとき、つまりオブジェクトや環境がすでに存在していて、作り出すのではなくキャプチャする必要がある場面です。

2つのツールを組み合わせることで、純粋な想像から純粋な現実まで、そしてその間にあるすべてを含む3Dアセット制作の全領域をカバーできます。

ぜひ自分でワークフローを試してみてください。KIRI Engineで現実のものをキャプチャし、Tripoでクリエイティブなアセットを生成・加工して、現実ベースのキャプチャとAI生成がどのように連携できるかを体験してみましょう。