用户指南(一):探索 Tripo AI 的文本/图像生成3D功能,附带实用的提示词工程技巧与窍门

Oliver
Lyson
· 2023/12/22

引言

大家好,我是Lyson!

过去一年里,生成式AI(Generative AI)领域持续高速发展。就在年初,我还在B站系统性地讲了Midjourney的教程,而如今,AI生成3D模型的技术也日益成熟。学习曲线的降低意味着你可以更快地掌握3D技能,让每个人都能体验到3D创作的乐趣。

探索潜力:Tripo AI + Blender + Magnific AI

在我最近的实验中,我深入探索了 Tripo AI 的奇妙世界,并将其与 BlenderMagnific AI 结合起来。结果如何?请欣赏下面的惊艳图像:

第一次接触 Tripo AI,让我回想起当初玩 Midjourney V3 模型时的那种喜悦。与3D生成技术交织的另一个故事线是动作捕捉技术的进步。过去,获取高精度动作文件需要昂贵的设备,但如今,一部智能手机就足以实现。

3D学习中的时间困境

你们中的许多人可能一直想知道学习3D建模需要投入多少时间。这可不少!如果AI能直接生成模型,即使达到80%的完成度,更不用说100%,那也将是一个巨大的胜利。这将节省大量时间,特别是对于那些重复性的“搬砖”任务。这也是Tripo AI让我兴奋的原因之一!

挑战极限:与 Tripo AI 相伴的一天

在接触 Tripo AI 的第一天,我编写了 Python 脚本,批量处理了数百个模型,以测试 Tripo AI 的性能极限。众所周知,在文本生成领域,提示词的重要性至关重要,尤其是在工具快速迭代的阶段。了解哪些提示词能高效工作,可以为创意过程节省宝贵时间。

在我的实验中,我逐步探索了不同的领域属性,从简单的形容词到纹理材质、颜色光泽,以及像“Masterpiece”(杰作)这样的提示词开头。

揭示技术与结论

以下是我发掘出的一些关键技巧和结论:

  1. 简洁是关键: 目前,模型在理解主要主题和简短修饰符方面表现出色。然而,冗长的文本并不能显著增强细节。请专注于清晰表达主要主题及其突出特征。
  2. 颜色提示词的力量: 当结果中呈现大面积的某种颜色时,颜色提示词效果最佳。仅通过语言描述两种以上颜色可能具有挑战性——在专业的3D软件中直接修改更符合工作流程。
  3. 开头短语的重要性: 一个好的开头短语可以在纹理方面带来意想不到的改进。记住并观察与高质量输出相关的提示词,并反复实验。
  4. 材质很重要: 描述材质优先于描述光源。模型对材质反射率的理解是精确的,值得关注。
  5. 多头问题”: 模型在第一个“草稿”(Draft)阶段擅长生成良好的细节,但在第二个“优化”(Refine)阶段有可能遇到“多头问题”,不过这在3D工作流程中可以轻松解决。

打造完美提示词:通过示例加深理解

现在,让我们通过示例来剖析这些见解,揭示可以增强您的理解并提升您的3D创作水平的细微之处。

简洁和开头短语的力量:“主要对象 + 1-3个最突出的形容词 + 开头短语”公式:

Prompt: Cyberpunk mask, Compact, digital, Futuristic design, Voice modulator, Air filtration system, Quick-release mechanism, Concealed weapon storage, Biometric locking, Textured solar panel, moderate brightness, functional reflectivity, Sophisticated models, Smooth LOD transitions, gradient detail levels

在上述提示词中,除了某些更抽象的设计元素外,模型对提示词的其他部分(尤其是P4)表现出良好的理解。然而,这是否意味着更长的提示词更有价值?对提示词的仔细审视揭示,实际上,只有主要对象(mask,面具)、最突出的描述性修饰语(cyberpunk,赛博朋克;futuristic,未来主义)以及开头短语(Smooth LOD transitions,平滑的LOD过渡;gradient detail levels,渐变细节级别)才具有显著的影响力。接下来,我们通过比较社区中的一些相关示例来继续:

Prompt: a futuristic hardsurface helmet in green marble, high resolution

在这个例子中,提示词只有一个句子,但因为它完全融入了我所提到的“主要对象 + 1-3个最突出的形容词 + 开头短语”公式,所以它营造出一种高精度和如丝般光滑的表面印象。

现在,让我们看另一个例子:

Prompt: Cybernetic heart, display, Lifesaving, mechanical, High-definition screen, Laser-cut steel, Modular seat configuration, Anti-graffiti coating, Shimmering sequin texture, bright appearance, sparkling reflectivity, Realistic fluid dynamics simulation, Precision surface smoothing, artifact-free curvature

在这个例子中,P3的赛博朋克电子心脏和P4的未来派显示屏与提示词的意图非常吻合。观察我们长提示词的结构,我们注意到我们并没有试图用过多的详细形容词来描述物体。因此,除了主要对象之外,大部分都属于开头短语的范畴,类似于“masterpiece”(杰作)或“4k”这样的词。

然而,在3D领域,我们需要记住一些新的提示词才能获得更好的结果。例如:Shimmering sequin texture(闪烁的亮片纹理), bright appearance(明亮的外观), sparkling reflectivity(闪耀的反射率), Realistic fluid dynamics simulation(逼真的流体动力学模拟), Precision surface smoothing(精确的表面平滑), artifact-free curvature(无伪影的曲率)。你可能已经注意到,这些开头短语包含了大量关于材质、反射效果和曲率的描述。因此,你也可以将开头短语视为这些可以显著影响AI输出的“3D特性”。

每次只生成一个项目:

仔细观察,你会发现这个提示词似乎有两个看似并行的主题:一个赛博朋克心脏和一个显示屏。对于 Stable Diffusion 而言,这样的提示词可能会导致图像模糊,或者两个元素出现在同一张图片中,从而可能导致图像逻辑问题。

但在我使用 Tripo AI 的实验中,我发现模型倾向于专注于绘制一个对象。因此,如果你的提示词包含两个对象,你可能会发现图像1完全是对象A,而图像2则完全生成为对象B。

这让我们对当前AI产品开发阶段有了一个见解,暗示了与3D工作流程的联系:每次只专注于生成一个项目。

材质与对称性考量:

Prompt 1:Sci-fi bench, Durable, rugged, Flush installation, Anti-slip surface, Illuminated edges, Slick oil surface texture, variable brightness, high reflectivity, Seamless 3D integration, Harmonious light mapping, balanced illumination
Prompt 2:Sci-fi bench, Miniaturized, interactive, Flush installation, Anti-slip surface, Illuminated edges, Boosted motors, Grip tape detailing, Customizable wheels, Abrasive sandpaper texture, low brightness, non-reflective, Procedural generation techniques, Seamless mesh, unified surfaces

特别值得注意的是,第一张图片中的椅子与第二张图片中P2和P3的椅子之间的比较,重点关注材质特性。对反射属性的描述对生成结果具有显著影响,这在多次试验中都持续有效。由于篇幅限制,此处不再展示所有示例。

接着,如果你熟悉3D建模,你会知道在模型创建过程中“对称性”的重要性。因此,如果需要,不要忘记明确提醒AI专注于“对称性”。

Prompt:Security turret, Tactical, time-telling, 360-degree surveillance, Automated targeting, Infrared vision, Augmented vision, Prescription compatibility, Lightweight frame, Composite fiber paneling, moderate brightness, reduced reflectivity, Immersive world-building, Intentional reflective design, deliberate symmetry

图像生成3D功能:

当然,你也可以使用图像生成3D功能,就像这张图片一样。在使用 Tripo AI 时,选择“图像生成3D”(Image to 3D),上传你的图片,然后简单点击“草稿”(Draft)按钮。系统会首先自动从图片中提取主体,然后生成模型。就我个人而言,我更喜欢在 Photoshop 中预编辑图片(提取前景),以确保初始草稿的精确性,因为自动分割时有时会出现模糊。

之后,我们点击“优化”(Refine)来提高模型的精度。最终获得的模型如下。通过点击下载,你可以将其导入专业的3D软件中进行进一步的精修:

以下是其他图像生成3D的示例:

探索 Tripo AI 并加入我们的媒体平台:

Original Article: https://medium.com/@thegodtripo/ultimate-tripo-ai-guide-i-prompt-tips-and-tricks-for-text-image-to-3d-cd49523b10ae

作者:Lyson (Twitter@lyson_ober),编辑:Oliver

Advancing 3D generation to new heights

moving at the speed of creativity, achieving the depths of imagination.