AI 3D 生成如何拓展你的手机 3D 扫描能力

两款工具,各司其职

对许多创作者来说,3D 创作往往从两个起点出发:一个是脑海中的想法,另一个是现实世界。

第一种是 AI 生成。Tripo 这类工具能让你在几秒内将文字提示、草图或参考图片转化为 3D 模型,速度快、创意强,无需任何扫描设备或技术配置。

第二种是手机 3D 扫描。以 KIRI Engine 为例,它只需一部智能手机,就能捕捉现实世界中已有的物体和环境,完整还原其真实几何形态、表面纹理和材质细节。

这两种方式并不是竞争关系,而是解决不同问题的工具。结合使用时,它们能覆盖比任何单一工具都更完整的创作流程。

手机 3D 扫描的优势

手机 3D 扫描能捕捉真实存在的事物:物体的真实形状、实际表面纹理,以及光线与材质的交互方式。这些是 AI 生成可以近似模拟、但在需要真实精度时无法完全替代的——因为这些信息直接来源于现实本身。

KIRI Engine 提供三种扫描模式,适用于不同的扫描对象:

  • 摄影测量(Photogrammetry) 通过拍摄数十至数百张照片,重建精确的几何形态和颜色贴图,最适合表面细节和纹理清晰的物体。
  • LiDAR 利用部分 iPhone 机型内置的深度传感器,快速完成具有真实比例的空间扫描,尤其适合房间和较大空间。在 KIRI Engine 中,LiDAR 扫描结果还可通过 AI 增强来提升表面细节,使其更适合作为空间参考或场景基础。
  • 3D Gaussian Splatting(3DGS) 无需从传统 mesh 几何体出发,直接捕捉物体和场景的视觉外观。对于复杂材质、有机表面以及传统摄影测量难以干净重建的完整环境,这种方式尤为实用。KIRI Engine 还内置了 3DGS 转 Mesh 功能,让创作者在手机端就能将 splat 捕捉结果转换为 mesh 资产,满足后续工作流对多边形模型的需求。

最终得到的高保真 3D 扫描结果,可以作为进一步创作的坚实基础。

AI 生成为扫描工作流带来了什么

高保真扫描提供了强大的真实世界基础。但在不同的后续应用场景中,创作者可能还需要更轻量的 mesh、新的材质方向,或额外生成的资产来完善场景。这正是 Tripo 发挥作用的地方:

  • Retopology(重新拓扑) 在保持扫描几何形态视觉可辨的前提下,大幅降低多边形数量,生成适合实时工作流和 3D 工具使用的干净 Quad 拓扑。
  • 纹理生成 替换或改造扫描资产的表面材质,让同一套几何体呈现出全新的视觉风格。
  • 资产生成 创建新的 3D 物体和角色,可直接放置到扫描的真实环境中。

以上每一项功能,都拓展了创作者在扫描完成后能做的事情。

工作流一:从真实雕塑到游戏友好资产

真实案例:用 KIRI Engine 扫描一个上色手办

一个精细的手办是测试这套工作流的绝佳对象。原件在衣物褶皱、面部特征和动态迈步姿势上都有复杂的表面细节——正是那种手动建模需要数小时、但用摄影测量扫描效果极佳的几何形态。

第一步:用 KIRI Engine 扫描

使用照片扫描模式,从多个角度和高度拍摄物体。对于这个尺寸的手办,拍摄 60 到 80 张覆盖完整轮廓的照片通常已经足够。KIRI Engine 会自动完成重建处理,并导出包含完整几何体和纹理贴图的 GLB 文件。

第二步:用纹理生成进行风格化改造

在测试中,我们发现先进行纹理生成、再做 retopology 的效果更好。在完整扫描几何体保留的情况下,Tripo 在解析材质方向时能获取更多表面信息。如果先降低多边形数量,可能会损失部分可用于纹理生成的表面信息。

基于这一思路,我们使用提示词"stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style",将扫描的手办重新诠释为一个风格化的奇幻 RPG 角色资产。姿势和比例来自真实扫描,视觉风格则由 Tripo 赋予。

第三步:在 Tripo 中进行 Retopology

确定视觉风格后,对资产进行 retopology 以降低多边形数量。原始扫描共有 40,296 个三角面,经过 retopology 后,同一资产缩减至 9,566 个 Quad 面,减少了约 76%,同时完整保留了姿势、比例和整体轮廓。

一个实物,一次扫描。通过这套工作流,一件真实的雕塑作品无需从头手动重建,就能变成轻量化、风格化的游戏友好资产。

工作流二:真实人物与 AI 角色共存于同一场景

真实案例:3DGS 捕捉的真人与 AI 生成角色的结合

3D Gaussian Splatting 最引人注目的用途之一,就是捕捉真实的人物。3DGS 尤其擅长在单次连续拍摄中同时捕捉人物与周围环境,完整保留真实光照、服装细节和空间背景。

第一步:用 KIRI Engine 3D Gaussian Splatting 捕捉真实人物

用 3D Gaussian Splatting 扫描人物比扫描物体需要更多注意。被拍摄者在整个拍摄过程中需要尽量保持静止,即使是呼吸或重心移动这样的细微动作,也可能导致重建结果出现模糊。我们请被拍摄者保持放松的姿势,并在整个过程中尽量减少动作。

分三个高度层级进行拍摄:高角度、平视角度和低角度,在每个高度绕被拍摄者走一圈。这样能为算法提供足够的信息,以准确重建完整人物。KIRI Engine 将拍摄素材处理成一个 3DGS 场景,同时包含人物和周围环境,完整保留了拍摄地点的真实光照和空间背景。

第二步:用 Tripo 生成角色

为了对最终结果有更多把控,我们先使用 Tripo 的文生图功能创建参考图片,再将该图片输入 Tripo 的 image-to-3D 工作流。虽然 text-to-3D 适合快速构思,但先生成参考图片让我们对最终视觉方向有了更精准的控制。

生成的角色以标准 3D mesh 格式导出。其视觉风格——平面着色、干净的线条、饱和的色彩——与照片级真实感的扫描人物形成了刻意的对比。

第三步:使用 KIRI Engine 的 3DGS 插件在 Blender 中合并

3DGS 场景以 .ply 文件格式导出。为了将其导入 Blender,我们使用了 KIRI Engine 的开源 Blender 插件,该插件可将 3DGS 场景作为原生对象与标准 3D 资产并排加载。Tripo 生成的角色以标准 mesh 格式导入,并在场景中与扫描人物并排放置。

KIRI Engine 的 Blender 插件将真实世界的 3DGS 捕捉作为场景对象加载,而 Tripo 生成的角色则以标准 3D mesh 导入。两者共同在同一个 Blender 工作区内构成了一个融合真实与 AI 的混合场景。

最终呈现的是一个单一场景:通过 3DGS 捕捉的真实人物,与 AI 生成的风格化角色共存于同一空间。从这里出发,该场景可以作为多种创作方向的起点:游戏原型制作、概念可视化、虚拟制片测试,或融合真实与 AI 的叙事创作。

扫描元素提供了真实感和空间锚定,AI 生成的角色则补充了现实世界中并不存在的内容。两者结合,展示了真实世界的 3DGS 捕捉如何成为更广泛创意场景的基础,而不仅仅是一个静态的扫描结果。

扫描给你真实的世界,AI 生成给你超越现实的一切

两款工具互不替代。当你需要从想象中构建事物、当资产尚不存在、当速度和创意灵活性最为重要时,Tripo 是正确的选择。当精确还原现实至关重要、当物体或环境已经存在并需要被捕捉而非凭空创造时,KIRI Engine 是正确的选择。

两款工具结合使用,覆盖了 3D 资产创作的完整范围:从纯粹的想象到纯粹的现实,以及两者之间的一切可能。

亲自尝试这套工作流:用 KIRI Engine 捕捉真实事物,用 Tripo 生成或改造创意资产,探索基于现实的捕捉与 AI 生成如何协同工作。

Advancing 3D generation to new heights

moving at the speed of creativity, achieving the depths of imagination.

一键生成任何3D内容
文字/图片转 3D 模型文字/图片转 3D 模型
每月获赠免费额度每月获赠免费额度
极致细节还原极致细节还原