Tripo Doodle (TripoSG Scribble): миттєве втілення 3D-ідей за допомогою ескізів і тексту

На заході «Real-Time LIVE!» у межах SIGGRAPH Asia 2024 компанія VAST (Tripo) представила Tripo Doodle (внутрішня назва TripoSG Scribble) — інтерактивний інструмент, який у реальному часі перетворює прості 2D-ескізи та текстові підказки на деталізовані 3D-моделі. Традиційне 3D-моделювання часто передбачає складний процес навчання та значні витрати часу, особливо на початкових етапах блокінгу форм. Tripo Doodle кардинально знижує цей бар’єр, пропонуючи інтуїтивний і блискавично швидкий робочий процес, який дає змогу як досвідченим професіоналам, так і новачкам із безпрецедентною легкістю візуалізувати та вдосконалювати 3D-концепції. Як було продемонстровано наживо, користувачі можуть буквально «домальовувати» 3D-об’єкти, спрямовуючи творчу енергію на ідею, а не на складні інструменти.


VAST (Tripo) із захопленням оголошує про відкриття коду ключових компонентів і публікацію напрацювань, що лежать в його основі.

Що таке Tripo Doodle? Від сцени SIGGRAPH до ваших рук

Tripo Doodle — це новий інтерфейс, розроблений для радикального спрощення та прискорення процесу створення 3D-контенту. Він дає змогу користувачам:

  1. Інтуїтивно створювати ескізи: малювати прості 2D-форми та лінії на полотні.
  2. Додавати текстові підказки: надавати семантичний контекст або визначати конкретні атрибути за допомогою тексту.
  3. Миттєво генерувати: бачити, як деталізована 3D-модель з’являється та оновлюється в реальному часі на основі цих даних.

Прем’єра Tripo Doodle на Real-Time LIVE! у межах SIGGRAPH Asia 2024 захопила глядачів, продемонструвавши майбутнє, у якому 3D-моделювання є таким же плавним і доступним, як малювання ескізів. Інструмент безпосередньо розв’язує проблему складного навчання та часовитратності традиційних 3D-процесів, особливо на етапі початкового блокінгу об’єктів, даючи творцям змогу зосередитися виключно на своїх ідеях.

Основна технологія: розширення TripoSG для взаємодії в реальному часі

Tripo Doodle не створено з нуля: він використовує потужність сучасної базової моделі VAST TripoSG і розширює її спеціальними інноваціями для мультимодальної взаємодії в реальному часі:

  1. Базова модель TripoSG: базовим рушієм є TripoSG — модель генерації 3D-форм із зображень. Вона дає змогу генерувати високоточні 3D-сітки безпосередньо з вхідних даних для керування (у базовій моделі зазвичай це зображення). Модель навчено на відібраних даних із використанням точних представлень Signed Distance Function (SDF), якими керує спеціальний Variational Autoencoder (VAE).
  2. Мультимодальне керування (ескіз + текст): Tripo Doodle розширює TripoSG механізмами для одночасного розуміння та інтеграції ескізів і текстових даних.
    • Керування ескізом: 2D-малюнок задає жорсткі геометричні обмеження, визначаючи основну форму, структуру та позу.
    • Керування текстом: підказки природною мовою спрямовують семантичну інтерпретацію, впливаючи на тип об’єкта, стиль і конкретні особливості (наприклад, додавання слова «дракон» перетворює ескіз звичайного монстра на дракона).
  3. Оптимізація в реальному часі (наприклад, дистиляція): для досягнення майже миттєвої швидкості генерації, необхідної для інтерактивного «малювання», застосовуються такі методи, як CFG distillation. Меншу оптимізовану модель навчають відтворювати результати більшої моделі TripoSG, що забезпечує швидкий inference, придатний для оновлень у реальному часі на основі безперервного введення користувача.


Втілення ідей у життя

Демонстрація Tripo Doodle на Real-Time LIVE! у межах SIGGRAPH Asia 2024 проілюструвала можливості інструменту:

  • Легке створення: прості ескізи рослини, столу, кільця або монстра миттєво перетворювалися на 3D-об’єкти.
  • Ітерація наживо: 3D-моделі динамічно оновлювалися під час малювання, стирання або уточнення ескізів, а також після додавання чи зміни текстових підказок (наприклад, звичайний монстр перетворювався на «монстра-черепаху» або «монстра-дракона» з доданими крилами).
  • Творчий пошук: функція «Randomize» давала змогу швидко переглядати різні коректні 3D-інтерпретації того самого ескізу й текстового введення.
  • Доступність: сегмент «Doodle 1v1», у якому глядачі змагалися у створенні монстрів менш ніж за 30 секунд, продемонстрував, наскільки інтуїтивним і швидким є цей інструмент навіть для тих, хто користується ним уперше. Приклади на кшталт «томатного монстра» та «монстра-гусениці» показали, яких творчих, а іноді й несподіваних результатів можна досягти за лічені секунди.

Дізнайтеся більше

VAST прагне розвивати цю галузь завдяки відкритій співпраці. І TripoSG Scribble, і TripoSG мають відкритий код.

Ми запрошуємо дослідницьку та розробницьку спільноту ознайомитися з TripoSG і концепціями, що лежать в основі Tripo Doodle, розвивати їх і допомагати формувати майбутнє 3D AI.

Пов'язані статті

Дослідження
HiFi-123: До високоточній генерації 3D-контенту з одного зображення

Дізнайтеся, як HiFi-123 генерує високоточний, узгоджений між кількома ракурсами 3D-контент з одного зображення, використовуючи методи покращення нових ракурсів під керуванням референсу та дистиляції стану.

Tripo Team
📅 · 2025/11/26
Дослідження
OctFusion: дифузійні моделі на основі Octree для генерації 3D-форм

Дізнайтеся про OctFusion і побачте, як дифузійні моделі на основі Octree за лічені секунди генерують високоякісні 3D-форми, підтримуючи довільні роздільності, manifold meshes і гнучкі умовні входи, як-от текст, ескізи чи категорії.

Tripo Team
📅 · 2025/06/07
Дослідження
UniDream: об’єднання дифузійних апріорних моделей для створення 3D з тексту з можливістю зміни освітлення

Створюйте 3D-об’єкти з можливістю зміни освітлення з тексту за допомогою UniDream, використовуючи об’єднані дифузійні апріорні моделі для реалістичних текстур альбедо, гладких поверхонь і розширених можливостей зміни освітлення.

Tripo Team
📅 · 2025/11/26
Поділитися статтею

Створюйте будь-що у 3D

Натисніть нижче, щоб приєднатися до мільйонів 3D-креаторів. Спробуйте генерацію моделей надвисокої якості та найкращі PBR-текстури.