AI 3D 生成如何擴展你用 mobile 3D 掃描能做到的事
兩種工具。兩種不同任務。
對現今許多創作者來說，3D 創作通常從兩個地方之一開始：一個想法，或現實世界。
第一種是 AI 生成。像 Tripo 這類工具，可以讓你在幾秒內把文字提示、草圖或參考圖片轉換成 3D 模型。它快速、富有創意，而且不需要掃描設備或技術設定。
第二種是 mobile 3D 掃描。舉例來說，KIRI Engine 可以只用一支智慧型手機，捕捉現實世界中已存在的物件與環境，保留其準確的真實幾何形狀、表面紋理與材質細節。
這些方法並不是互相競爭。它們解決的是不同問題。結合使用時，它們能涵蓋比任何單一工具更完整的創作流程。
Mobile 3D 掃描擅長什麼
Mobile 3D 掃描捕捉的是已存在的事物：實體物件的真實形狀、實際表面紋理，以及光線與其材質互動的方式。這是 AI 生成可以近似模擬、但在重視真實世界準確度時無法完全取代的，因為資訊本身來自現實。
KIRI Engine 依照你要掃描的內容，提供三種捕捉模式：
- Photogrammetry 會捕捉數十到數百張照片，並重建準確的幾何形狀與 color maps。最適合表面細節與紋理清楚的物件。
- LiDAR 會使用受支援 iPhone 上的 depth sensor，以真實比例進行快速空間掃描，特別適合房間與大型空間。在 KIRI Engine 中，LiDAR 掃描也可以透過 AI 增強來改善表面細節，使其更適合作為空間參考或場景基礎。
- 3D Gaussian Splatting (3DGS) 可以捕捉物件與場景的視覺外觀，而不必從傳統 mesh geometry 開始。這對於複雜材質、有機表面，以及傳統 photogrammetry 可能較難乾淨重建的完整環境非常有用。KIRI Engine 也包含內建 3DGS-to-Mesh 轉換，讓創作者在需要用於後續流程的 polygonal models 時，可以在 mobile 上將 splat captures 轉換成 mesh assets。
結果是一個高擬真的 3D 捕捉成果，可作為進一步創意工作的堅實基礎。
AI 生成為掃描工作流程帶來什麼
高擬真掃描提供了強大的真實世界基礎。針對不同的下游用途，創作者可能仍需要更輕量的 meshes、新的材質方向，或額外生成的 assets 來完成場景。這正是 Tripo 擴展工作流程的地方：
- Retopology 會大幅降低 polygon count，同時讓掃描幾何在視覺上仍可辨識，產生適合 real-time workflows 與 3D tools 的乾淨 Quad topology。
- Texture generation 會替換或轉換掃描 asset 的表面材質，從同一個 geometry 開啟全新的視覺方向。
- Asset generation 會建立新的 3D 物件與角色，可直接放入掃描所得的真實世界環境中。
這些都擴展了創作者在捕捉後能對掃描成果做的事。
工作流程 1：從真實世界雕塑到遊戲友善 Asset
真實範例：使用 KIRI Engine 掃描的上色公仔
一個細節豐富的公仔很適合用來測試這個工作流程。原始作品在衣褶、臉部特徵，以及動態的跨步姿勢上都有複雜表面細節。這正是手動建模需要花上數小時、但用 photogrammetry 能很好捕捉的幾何類型。
步驟 1：使用 KIRI Engine 掃描
使用 Photo Scan 模式，從多個角度與高度捕捉物件。以這個大小的公仔來說，通常 60 到 80 張涵蓋完整輪廓的照片就足夠。KIRI Engine 會自動處理重建，並匯出包含完整幾何與 texture maps 的 GLB 檔案。
步驟 2：使用 Texture Generation 重新風格化
在這次測試中，我們發現在 retopology 之前先執行 texture generation 會得到更好的結果。保留完整掃描幾何時，Tripo 在解讀材質方向時有更多表面資訊可用。若先降低 polygon count，可能會限制 texture generation 可使用的部分表面資訊。
基於這一點，我們使用提示詞 "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style"，將掃描的公仔重新詮釋為風格化 fantasy RPG 風格角色 asset。姿勢與比例來自真實世界掃描。視覺風格則來自 Tripo。
步驟 3：在 Tripo 中進行 Retopologize
確立視覺方向後，接著對 asset 進行 retopologize 以降低 polygon count。原始掃描為 40,296 triangles。經過 retopology 後，同一個 asset 變成 9,566 faces，並具備 Quad topology，約減少 76%，同時保留姿勢、比例與整體輪廓。
一個實體物件。一次掃描。在這個工作流程中，真實世界的雕塑可以變成更輕量、風格化、適合遊戲使用的 asset，而不需要從零手動重建。
工作流程 2：當真人與 AI 角色共享同一場景
真實範例：將以 3DGS 捕捉的人物與 AI 生成角色結合
3D Gaussian Splatting 更具吸引力的用途之一，是捕捉真實人物。3DGS 特別適合以單次連續拍攝，同時捕捉人物及其周遭環境，一次保留真實光線、服裝細節與空間脈絡。
步驟 1：使用 KIRI Engine 3D Gaussian Splatting 捕捉真人
用 3D Gaussian Splatting 掃描人物，比掃描物件需要多一點細心。拍攝期間主體必須盡可能保持靜止，即使是呼吸或重心移動這類細微動作，也可能在重建中造成模糊。我們請主體保持放鬆姿勢，並在整個過程中盡量減少移動。
從三個高度層級進行捕捉：高角度、視線高度與低角度，並在每個高度繞著主體移動。這能給演算法足夠資訊，準確重建完整人物。KIRI Engine 會將影片處理成包含人物與周遭環境的 3DGS 場景，保留該地點的真實光線與空間脈絡。
步驟 2：使用 Tripo 生成角色
為了更好地控制最終結果，我們先使用 Tripo 的 text-to-image generation 建立參考圖片，再將該圖片送入 Tripo 的 image-to-3D 工作流程。雖然 text-to-3D 對快速發想很有用，但先使用生成的參考圖片，讓我們能更好地掌控最終視覺方向。
生成的角色會匯出為標準 3D mesh。其視覺風格具備 flat shading、乾淨線條與飽和色彩，刻意與 photorealistic 掃描人物形成對比。
步驟 3：使用 KIRI Engine 的 3DGS plugin 在 Blender 中結合
3DGS 場景會匯出為 .ply 檔案。為了將它們帶入 Blender，我們使用 KIRI Engine 的 open-source Blender plugin，將 3DGS 場景作為 native object 載入，並與標準 3D assets 並列。Tripo 生成的角色則作為標準 mesh 匯入，並放置在場景中掃描人物旁邊。
KIRI Engine 的 Blender plugin 會將真實世界 3DGS 捕捉載入為場景物件，而 Tripo 生成的角色則作為標準 3D mesh 匯入。兩者一起在同一個 Blender 工作區中建立出混合真實與 AI 的場景。
結果是一個單一場景，其中透過 3DGS 捕捉的真人與 AI 生成的風格化角色共存在同一空間。從這裡開始，該場景可作為多種創作方向的起點：遊戲原型、概念視覺化、virtual production 測試，或混合真實與 AI 的敘事。
掃描元素提供真實感與空間定位。AI 生成角色則加入了不存在於物理世界中的內容。兩者結合，展現了真實世界 3DGS 捕捉如何成為更廣泛創意場景的基礎，而不只是停留在靜態掃描。
掃描給你真實世界。AI 生成給你超越現實的一切。
兩種工具都不會取代彼此。當你從想像中打造某樣東西、當 asset 尚不存在，而速度與創意彈性最重要時，Tripo 是正確選擇。當對現實的準確性很重要、當物件或環境已經存在且需要被捕捉而不是被發明時，KIRI Engine 是正確選擇。
兩者結合使用，能涵蓋完整的 3D asset 創作範圍：從純粹想像到純粹現實，以及其間的一切。
親自試試這個工作流程：用 KIRI Engine 捕捉真實物件，用 Tripo 生成或調整創意 assets，看看基於現實的捕捉與 AI 生成如何協同運作。
