Tripo Doodle (TripoSG Scribble): Dando Vida Instantaneamente a Ideias 3D com Esboço e Texto

No "Real-Time LIVE!" da SIGGRAPH Asia 2024, a VAST (Tripo) revelou o Tripo Doodle (referido internamente como TripoSG Scribble), uma ferramenta interativa que transforma esboços 2D simples e prompts de texto em modelos 3D detalhados em tempo real. A modelagem 3D tradicional geralmente envolve curvas de aprendizado íngremes e um investimento de tempo significativo, particularmente nas fases iniciais de bloqueio de formas. O Tripo Doodle reduz drasticamente essa barreira, oferecendo um fluxo de trabalho intuitivo e extremamente rápido que capacita tanto profissionais experientes quanto novatos a visualizar e iterar em conceitos 3D com uma facilidade sem precedentes. Conforme demonstrado ao vivo, os usuários podem literalmente "rabiscar" seu caminho para ativos 3D, concentrando a energia criativa na ideia, e não em ferramentas complexas.

A VAST (Tripo) tem o prazer de anunciar a abertura de componentes chave e insights por trás disso.

O que é o Tripo Doodle? Do Palco da SIGGRAPH para as Suas Mãos

O Tripo Doodle é uma nova interface projetada para simplificar e acelerar radicalmente o processo de criação 3D. Ele permite aos usuários:

1. Esboçar Intuitivamente: Desenhar formas e linhas 2D simples em uma tela.
2. Adicionar Prompts de Texto: Fornecer contexto semântico ou atributos específicos via texto.
3. Gerar Instantaneamente: Ver um modelo 3D detalhado aparecer e ser atualizado em tempo real com base nessas entradas.

Estreando no SIGGRAPH Asia 2024 Real-Time LIVE!, o Tripo Doodle cativou o público ao apresentar um futuro onde a modelagem 3D é tão fluida e acessível quanto rabiscar. Ele aborda diretamente a curva de aprendizado muitas vezes íngreme e a natureza demorada dos fluxos de trabalho 3D tradicionais, especialmente a fase inicial de bloqueio de ativos, capacitando os criadores a se concentrarem puramente em suas ideias.

Tecnologia Central: Estendendo o TripoSG para Interação em Tempo Real

O Tripo Doodle não foi construído do zero; ele aproveita o poder do modelo fundamental de última geração TripoSG da VAST e o estende com inovações específicas para interação multimodal em tempo real:

1. Modelo Base TripoSG: O motor subjacente é o TripoSG, um modelo de geração de formas 3D a partir de imagens. Ele permite a geração de malhas 3D de alta fidelidade diretamente a partir de entradas de condicionamento (normalmente imagens no modelo base). Ele é treinado em dados curados usando representações precisas de Função de Distância Sinalizada (SDF) gerenciadas por um Variational Autoencoder (VAE) personalizado.
2. Condicionamento Multimodal (Esboço + Texto): O Tripo Doodle aprimora o TripoSG incorporando mecanismos para entender e integrar ambas as entradas de esboço e texto simultaneamente.
   • Orientação por Esboço: O desenho 2D fornece fortes restrições geométricas, definindo a forma, estrutura e pose principais.
   • Orientação por Texto: Prompts de linguagem natural direcionam a interpretação semântica, influenciando o tipo de objeto, estilo e características específicas (por exemplo, adicionar "dragão" transforma um esboço genérico de monstro).
3. Otimização em Tempo Real (por exemplo, Destilação): Para alcançar as velocidades de geração quase instantâneas essenciais para a experiência interativa de "rabiscar", são empregadas técnicas como a destilação CFG. Um modelo menor e otimizado é treinado para replicar a saída do modelo TripoSG maior, permitindo inferência rápida adequada para atualizações em tempo real com base na entrada contínua do usuário.

Dando Vida às Ideias

A demonstração do SIGGRAPH Asia 2024 Real-Time LIVE! ilustrou o poder do Tripo Doodle:

• Criação Sem Esforço: Esboços simples de uma planta, mesa, anel ou monstro foram instantaneamente transformados em objetos 3D.
• Iteração ao Vivo: Os modelos 3D eram atualizados dinamicamente à medida que os esboços eram desenhados, apagados ou refinados, e à medida que os prompts de texto eram adicionados ou alterados (por exemplo, transformando um monstro genérico em um "monstro-tartaruga" ou um "monstro-dragão" com asas adicionadas).
• Exploração Criativa: A função "Randomize" permitia aos usuários alternar rapidamente entre diferentes interpretações 3D válidas do mesmo esboço/entrada de texto.
• Acessibilidade: O segmento "Doodle 1v1", onde membros da audiência competiam para criar monstros em menos de 30 segundos, destacou o quão intuitiva e rápida a ferramenta é, mesmo para usuários iniciantes. Exemplos como o "monstro-tomate" e o "monstro-lagarta" mostraram os resultados criativos (e às vezes surpreendentes!) alcançáveis em segundos.

Explore Mais

A VAST está empenhada em avançar o campo através da colaboração aberta. Tanto o TripoSG Scribble quanto o TripoSG são de código aberto.

• Experimente a demonstração do TripoSG-Scribble
• Experimente a demonstração do TripoSG
• Obtenha o código e os modelos do TripoSG
• Leia o artigo de pesquisa completo do TripoSG

Convidamos a comunidade de pesquisa e desenvolvedores a explorar o TripoSG e os conceitos por trás do Tripo Doodle, a construir sobre eles e a ajudar a moldar o futuro da IA 3D.