Tripo Doodle (TripoSG Scribble)：通过草图和文本即时将3D创意变为现实

在 SIGGRAPH Asia 2024 的“Real-Time LIVE!”环节中，VAST (Tripo) 发布了 Tripo Doodle（内部称为 TripoSG Scribble），这是一款交互式工具，能够将简单的2D草图和文本提示实时转换为详细的3D模型。传统的3D建模通常涉及陡峭的学习曲线和大量的时间投入，尤其是在初始的形状搭建阶段。Tripo Doodle 大幅降低了这一门槛，提供了一个直观、闪电般快速的工作流程，使经验丰富的专业人士和新手都能以前所未有的轻松方式可视化和迭代3D概念。正如现场演示所展示的，用户可以真正地“涂鸦”出3D资产，将创作精力集中在想法上，而不是复杂的工具操作。

VAST (Tripo) 很高兴地宣布其背后的关键组件和见解已开源。

什么是 Tripo Doodle？从 SIGGRAPH 舞台到您的指尖

Tripo Doodle 是一个新界面，旨在从根本上简化和加速3D创建过程。它允许用户：

1. 直观草绘： 在画布上绘制简单的2D形状和线条。
2. 添加文本提示： 通过文本提供语义上下文或特定属性。
3. 即时生成： 基于这些输入，实时显示并更新详细的3D模型。

Tripo Doodle 在 SIGGRAPH Asia 2024 Real-Time LIVE! 首次亮相，通过展示一个3D建模像涂鸦一样流畅和可访问的未来，吸引了观众。它直接解决了传统3D工作流程中通常陡峭的学习曲线和耗时性，特别是初始资产搭建阶段，使创作者能够纯粹专注于他们的想法。

核心技术：扩展 TripoSG 以实现实时交互

Tripo Doodle 并非从零开始构建；它利用了 VAST 尖端的 TripoSG 基础模型的力量，并通过特定的创新对其进行了扩展，以实现实时、多模态交互：

1. TripoSG 基础模型： 底层引擎是 TripoSG，一个图像到3D形状生成模型。它允许直接从条件输入（在基础模型中通常是图像）高保真地生成3D网格。它使用自定义变分自编码器（VAE）管理的精确**有符号距离函数（SDF）**表示，在精选数据上进行训练。
2. 多模态条件（草图 + 文本）： Tripo Doodle 通过整合机制来同时理解和整合草图和文本输入，从而增强了 TripoSG。
   • 草图引导： 2D绘图提供了强大的几何约束，定义了核心形状、结构和姿态。
   • 文本引导： 自然语言提示引导语义解释，影响对象类型、样式和特定特征（例如，添加“龙”可以将普通的怪物草图转换为龙）。
3. 实时优化（例如，蒸馏）： 为了实现交互式“涂鸦”体验所需的近乎即时生成速度，采用了诸如 CFG 蒸馏等技术。一个更小、优化的模型经过训练，以复制大型 TripoSG 模型的输出，从而实现适合基于连续用户输入的实时更新的快速推理。

将创意变为现实

SIGGRAPH Asia 2024 Real-Time LIVE! 演示展示了 Tripo Doodle 的强大功能：

• 轻松创作： 植物、桌子、戒指或怪物的简单草图被即时转换为3D对象。
• 实时迭代： 3D模型随着草图的绘制、擦除或细化，以及文本提示的添加或更改（例如，将普通怪物变成“乌龟怪物”或带有翅膀的“龙怪物”）而动态更新。
• 创意探索： “随机化”功能允许用户快速循环查看相同草图/文本输入的不同有效3D解释。
• 易用性： “Doodle 1v1”环节，观众在30秒内竞争创作怪物，突出了该工具的直观性和速度，即使是首次使用的用户也能轻松上手。例如，“番茄怪物”和“毛毛虫怪物”展示了在几秒钟内可实现的创意（有时甚至是令人惊讶的！）成果。

深入探索

VAST 致力于通过开放协作推动该领域的发展。TripoSG Scribble 和 TripoSG 都已开源。

• 试用 TripoSG-Scribble 演示
• 试用 TripoSG 演示
• 获取 TripoSG 代码和模型
• 阅读完整的 TripoSG 研究论文

我们邀请研究和开发社区探索 TripoSG 和 Tripo Doodle 背后的概念，在此基础上进行构建，并帮助塑造3D AI 的未来。