Tripo Doodle (TripoSG Scribble): Dando Vida Instantaneamente a Ideias 3D com Esboço e Texto
No "Real-Time LIVE!" da SIGGRAPH Asia 2024, a VAST (Tripo) revelou o Tripo Doodle (referido internamente como TripoSG Scribble), uma ferramenta interativa que transforma esboços 2D simples e prompts de texto em modelos 3D detalhados em tempo real. A modelagem 3D tradicional geralmente envolve curvas de aprendizado íngremes e um investimento de tempo significativo, particularmente nas fases iniciais de bloqueio de formas. O Tripo Doodle reduz drasticamente essa barreira, oferecendo um fluxo de trabalho intuitivo e extremamente rápido que capacita tanto profissionais experientes quanto novatos a visualizar e iterar em conceitos 3D com uma facilidade sem precedentes. Conforme demonstrado ao vivo, os usuários podem literalmente "rabiscar" seu caminho para ativos 3D, concentrando a energia criativa na ideia, e não em ferramentas complexas.
A VAST (Tripo) tem o prazer de anunciar a abertura de componentes chave e insights por trás disso.
O que é o Tripo Doodle? Do Palco da SIGGRAPH para as Suas Mãos
O Tripo Doodle é uma nova interface projetada para simplificar e acelerar radicalmente o processo de criação 3D. Ele permite aos usuários:
Esboçar Intuitivamente: Desenhar formas e linhas 2D simples em uma tela.
Adicionar Prompts de Texto: Fornecer contexto semântico ou atributos específicos via texto.
Gerar Instantaneamente: Ver um modelo 3D detalhado aparecer e ser atualizado em tempo real com base nessas entradas.
Estreando no SIGGRAPH Asia 2024 Real-Time LIVE!, o Tripo Doodle cativou o público ao apresentar um futuro onde a modelagem 3D é tão fluida e acessível quanto rabiscar. Ele aborda diretamente a curva de aprendizado muitas vezes íngreme e a natureza demorada dos fluxos de trabalho 3D tradicionais, especialmente a fase inicial de bloqueio de ativos, capacitando os criadores a se concentrarem puramente em suas ideias.
Tecnologia Central: Estendendo o TripoSG para Interação em Tempo Real
O Tripo Doodle não foi construído do zero; ele aproveita o poder do modelo fundamental de última geração TripoSG da VAST e o estende com inovações específicas para interação multimodal em tempo real:
Modelo Base TripoSG: O motor subjacente é o TripoSG, um modelo de geração de formas 3D a partir de imagens. Ele permite a geração de malhas 3D de alta fidelidade diretamente a partir de entradas de condicionamento (normalmente imagens no modelo base). Ele é treinado em dados curados usando representações precisas de Função de Distância Sinalizada (SDF) gerenciadas por um Variational Autoencoder (VAE) personalizado.
Condicionamento Multimodal (Esboço + Texto): O Tripo Doodle aprimora o TripoSG incorporando mecanismos para entender e integrar ambas as entradas de esboço e texto simultaneamente.
Orientação por Esboço: O desenho 2D fornece fortes restrições geométricas, definindo a forma, estrutura e pose principais.
Orientação por Texto: Prompts de linguagem natural direcionam a interpretação semântica, influenciando o tipo de objeto, estilo e características específicas (por exemplo, adicionar "dragão" transforma um esboço genérico de monstro).
Otimização em Tempo Real (por exemplo, Destilação): Para alcançar as velocidades de geração quase instantâneas essenciais para a experiência interativa de "rabiscar", são empregadas técnicas como a destilação CFG. Um modelo menor e otimizado é treinado para replicar a saída do modelo TripoSG maior, permitindo inferência rápida adequada para atualizações em tempo real com base na entrada contínua do usuário.
Dando Vida às Ideias
A demonstração do SIGGRAPH Asia 2024 Real-Time LIVE! ilustrou o poder do Tripo Doodle:
Criação Sem Esforço: Esboços simples de uma planta, mesa, anel ou monstro foram instantaneamente transformados em objetos 3D.
Iteração ao Vivo: Os modelos 3D eram atualizados dinamicamente à medida que os esboços eram desenhados, apagados ou refinados, e à medida que os prompts de texto eram adicionados ou alterados (por exemplo, transformando um monstro genérico em um "monstro-tartaruga" ou um "monstro-dragão" com asas adicionadas).
Exploração Criativa: A função "Randomize" permitia aos usuários alternar rapidamente entre diferentes interpretações 3D válidas do mesmo esboço/entrada de texto.
Acessibilidade: O segmento "Doodle 1v1", onde membros da audiência competiam para criar monstros em menos de 30 segundos, destacou o quão intuitiva e rápida a ferramenta é, mesmo para usuários iniciantes. Exemplos como o "monstro-tomate" e o "monstro-lagarta" mostraram os resultados criativos (e às vezes surpreendentes!) alcançáveis em segundos.
Explore Mais
A VAST está empenhada em avançar o campo através da colaboração aberta. Tanto o TripoSG Scribble quanto o TripoSG são de código aberto.
Convidamos a comunidade de pesquisa e desenvolvedores a explorar o TripoSG e os conceitos por trás do Tripo Doodle, a construir sobre eles e a ajudar a moldar o futuro da IA 3D.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Tripo Doodle (TripoSG Scribble): Dando Vida Instantaneamente a Ideias 3D com Esboço e Texto
No "Real-Time LIVE!" da SIGGRAPH Asia 2024, a VAST (Tripo) revelou o Tripo Doodle (referido internamente como TripoSG Scribble), uma ferramenta interativa que transforma esboços 2D simples e prompts de texto em modelos 3D detalhados em tempo real. A modelagem 3D tradicional geralmente envolve curvas de aprendizado íngremes e um investimento de tempo significativo, particularmente nas fases iniciais de bloqueio de formas. O Tripo Doodle reduz drasticamente essa barreira, oferecendo um fluxo de trabalho intuitivo e extremamente rápido que capacita tanto profissionais experientes quanto novatos a visualizar e iterar em conceitos 3D com uma facilidade sem precedentes. Conforme demonstrado ao vivo, os usuários podem literalmente "rabiscar" seu caminho para ativos 3D, concentrando a energia criativa na ideia, e não em ferramentas complexas.
A VAST (Tripo) tem o prazer de anunciar a abertura de componentes chave e insights por trás disso.
O que é o Tripo Doodle? Do Palco da SIGGRAPH para as Suas Mãos
O Tripo Doodle é uma nova interface projetada para simplificar e acelerar radicalmente o processo de criação 3D. Ele permite aos usuários:
Esboçar Intuitivamente: Desenhar formas e linhas 2D simples em uma tela.
Adicionar Prompts de Texto: Fornecer contexto semântico ou atributos específicos via texto.
Gerar Instantaneamente: Ver um modelo 3D detalhado aparecer e ser atualizado em tempo real com base nessas entradas.
Estreando no SIGGRAPH Asia 2024 Real-Time LIVE!, o Tripo Doodle cativou o público ao apresentar um futuro onde a modelagem 3D é tão fluida e acessível quanto rabiscar. Ele aborda diretamente a curva de aprendizado muitas vezes íngreme e a natureza demorada dos fluxos de trabalho 3D tradicionais, especialmente a fase inicial de bloqueio de ativos, capacitando os criadores a se concentrarem puramente em suas ideias.
Tecnologia Central: Estendendo o TripoSG para Interação em Tempo Real
O Tripo Doodle não foi construído do zero; ele aproveita o poder do modelo fundamental de última geração TripoSG da VAST e o estende com inovações específicas para interação multimodal em tempo real:
Modelo Base TripoSG: O motor subjacente é o TripoSG, um modelo de geração de formas 3D a partir de imagens. Ele permite a geração de malhas 3D de alta fidelidade diretamente a partir de entradas de condicionamento (normalmente imagens no modelo base). Ele é treinado em dados curados usando representações precisas de Função de Distância Sinalizada (SDF) gerenciadas por um Variational Autoencoder (VAE) personalizado.
Condicionamento Multimodal (Esboço + Texto): O Tripo Doodle aprimora o TripoSG incorporando mecanismos para entender e integrar ambas as entradas de esboço e texto simultaneamente.
Orientação por Esboço: O desenho 2D fornece fortes restrições geométricas, definindo a forma, estrutura e pose principais.
Orientação por Texto: Prompts de linguagem natural direcionam a interpretação semântica, influenciando o tipo de objeto, estilo e características específicas (por exemplo, adicionar "dragão" transforma um esboço genérico de monstro).
Otimização em Tempo Real (por exemplo, Destilação): Para alcançar as velocidades de geração quase instantâneas essenciais para a experiência interativa de "rabiscar", são empregadas técnicas como a destilação CFG. Um modelo menor e otimizado é treinado para replicar a saída do modelo TripoSG maior, permitindo inferência rápida adequada para atualizações em tempo real com base na entrada contínua do usuário.
Dando Vida às Ideias
A demonstração do SIGGRAPH Asia 2024 Real-Time LIVE! ilustrou o poder do Tripo Doodle:
Criação Sem Esforço: Esboços simples de uma planta, mesa, anel ou monstro foram instantaneamente transformados em objetos 3D.
Iteração ao Vivo: Os modelos 3D eram atualizados dinamicamente à medida que os esboços eram desenhados, apagados ou refinados, e à medida que os prompts de texto eram adicionados ou alterados (por exemplo, transformando um monstro genérico em um "monstro-tartaruga" ou um "monstro-dragão" com asas adicionadas).
Exploração Criativa: A função "Randomize" permitia aos usuários alternar rapidamente entre diferentes interpretações 3D válidas do mesmo esboço/entrada de texto.
Acessibilidade: O segmento "Doodle 1v1", onde membros da audiência competiam para criar monstros em menos de 30 segundos, destacou o quão intuitiva e rápida a ferramenta é, mesmo para usuários iniciantes. Exemplos como o "monstro-tomate" e o "monstro-lagarta" mostraram os resultados criativos (e às vezes surpreendentes!) alcançáveis em segundos.
Explore Mais
A VAST está empenhada em avançar o campo através da colaboração aberta. Tanto o TripoSG Scribble quanto o TripoSG são de código aberto.
Convidamos a comunidade de pesquisa e desenvolvedores a explorar o TripoSG e os conceitos por trás do Tripo Doodle, a construir sobre eles e a ajudar a moldar o futuro da IA 3D.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
Advancing 3D generation to new heights
moving at the speed of creativity, achieving the depths of imagination.
