VAST Open Source Month | TripoSG & TripoSF, établissent une nouvelle SOTA dans la génération 3D
En mars 2024, VAST et Stability AI ont conjointement open-sourcé le modèle 3D à grande échelle TripoSR. Grâce à sa capacité révolutionnaire à générer un modèle 3D à partir d'une seule image en seulement 0,5 seconde, il est rapidement devenu l'outil de référence pour les créateurs 3D du monde entier.
Cette même année, les projets open-source ont continué à repousser les limites de l'industrie de l'AI, alimentant une croissance rapide à la fois dans la recherche académique et les applications commerciales.
VAST a ensuite fait progresser sa série Tripo en lançant Tripo 2.0 en septembre 2024 puis Tripo 2.5 en janvier 2025. Entraînées sur des dizaines de millions d'assets 3D natifs de haute qualité, ces itérations ont constamment ouvert de nouvelles voies en matière de vitesse de génération, de précision des modèles et de réussite globale — chacune avec une précision géométrique extraordinaire qui a redéfini les frontières de la création de modèles 3D.
Dans notre quête mondiale de progrès technologique, nous comprenons que les innovations de rupture dans les architectures fondamentales et les avancées dans les capacités des modèles sont essentielles pour les équipes travaillant sur les modèles fondamentaux. Alors que nous affinons continuellement Tripo pour en faire une « solution parfaite » dans un environnement fermé, nous pensons qu'il est encore plus important de nous transformer en « brique fondamentale » au sein de l'écosystème open-source. Un écosystème technique ouvert possède une valeur à long terme bien supérieure à celle d'un système fermé.
C'est dans cet esprit qu'en mars 2025, nous avons lancé notre initiative « Technology Open-Source Month ».
Nous prévoyons d'open-sourcer successivement huit projets majeurs couvrant l'ensemble de la chaîne technique — des modèles de génération fondamentaux et composants fonctionnels centraux jusqu'à l'exploration d'idées innovantes. Notre ambition est de construire le premier système open-source de génération 3D de bout en bout au monde, et nous espérons sincèrement que les chercheurs et développeurs du domaine de la génération 3D trouveront notre travail à la fois inspirant et utile.
Aujourd'hui, VAST publie deux modèles fondamentaux de génération 3D :
TripoSG et TripoSF.
Mise à niveau majeure de TripoSG : la première architecture MoE Transformer dans la génération 3D
TripoSG est un modèle fondamental de génération 3D construit sur une architecture MoE Transformer basée sur Rectified Flow (RF). Dans cette publication, nous open-sourçons les poids et le code d'inférence du modèle TripoSG de 1,5B de paramètres, que vous pouvez essayer via une démo interactive sur HuggingFace.
Les tests ont montré que la qualité de sortie de TripoSG est au niveau de Tripo 2.0 — surpassant tous les projets open-source existants de génération 3D. Ses principaux atouts incluent une excellente généralisation et une grande stabilité lors de la génération d'objets composites complexes.
Le respect du Scaling Law, l'exploitation de données de meilleure qualité et l'utilisation de modèles plus grands restent les facteurs clés du succès de TripoSG. Voici quatre innovations majeures en matière d'entraînement efficace, de conception d'architecture et de gouvernance des données :
1. Pionnier de l'utilisation d'un Transformer basé sur RF pour la génération de formes 3D
Dès les débuts du développement de Tripo 2.0, nous avons découvert que, comparé aux modèles de diffusion traditionnels, Rectified Flow offre un chemin linéaire plus direct entre le bruit et les données. Cela se traduit par un entraînement plus stable et plus efficace — et, combiné à DiT, cela améliore considérablement la stabilité du modèle.
2. Introduction du premier MoE Transformer en 3D pour un meilleur passage à l'échelle
Bien que les MoE Transformers aient déjà été utilisés dans les modèles de langage, d'image et de vidéo, TripoSG marque leur première application efficace dans le domaine 3D. Cette approche augmente considérablement la capacité en paramètres du modèle — en particulier dans les couches les plus profondes et les plus critiques — sans ajouter de coût d'inférence substantiel.
De plus, construit sur le framework Transformer, TripoSG intègre des améliorations clés telles que des skip-connections pour améliorer la fusion des caractéristiques entre couches. Un mécanisme indépendant de cross-attention injecte également efficacement les caractéristiques d'image globales (CLIP) et locales (DINOv2), garantissant un alignement précis entre les images 2D d'entrée et les formes 3D générées.
3. Amélioration de la représentation géométrique grâce à un VAE de haute qualité et à une supervision géométrique innovante
Nous avons poursuivi en continu de meilleures représentations géométriques. Dans TripoSG, nous avons adopté un VAE qui utilise les Signed Distance Functions (SDFs) pour l'encodage géométrique, offrant une précision supérieure aux occupancy grids auparavant populaires. De plus, l'architecture VAE basée sur Transformer généralise exceptionnellement bien à travers les résolutions, en traitant des entrées haute résolution sans nécessiter de réentraînement.
4. Accent mis sur la gouvernance des données avec un pipeline complet de construction des données
La qualité comme la quantité des données sont cruciales. VAST possède la plus grande collection mondiale de données 3D natives de haute qualité et a développé pour la communauté open-source un pipeline de gouvernance des données de bout en bout.
Le processus comprend : Quality Scoring → Data Filtering → Fixing & Augmentation → SDF Production
Grâce à ce pipeline, nous avons construit un dataset de 2 millions de paires d'entraînement « image-SDF » de haute qualité. Les études d'ablation démontrent clairement que les modèles entraînés sur ce dataset affiné surpassent significativement ceux entraînés sur des datasets bruts plus volumineux et non filtrés.
TripoSF débloque la génération de structures 3D internes : un tokenizer révolutionnaire atteint une nouvelle SOTA dans la génération 3D
TripoSF est un modèle 3D fondamental développé par VAST sur la base d'une nouvelle représentation 3D appelée SparseFlex.
Les tests révèlent que ses résultats surpassent tous les travaux existants, open-source comme closed-source. Nous open-sourçons le modèle VAE préentraîné et le code d'inférence associé pour TripoSF, la version complète « all-out » devant être dévoilée dans Tripo 3.0.
TripoSF redéfinit la « limite supérieure de la qualité du modèle ». Pour la première fois, le modèle peut générer non seulement le « dos » d'un objet, mais aussi sa « structure intérieure » (comme on peut le voir dans les exemples du siège de bus et de la cabine du conducteur).
En outre, alors que les travaux précédents avaient tendance à générer des vêtements ou des pétales avec des géométries excessivement épaisses, TripoSF traite les assets à surface ouverte avec une finesse exceptionnelle.
La richesse de ses détails dans d'autres catégories de modèles est sans précédent.
L'objectif principal du développement de TripoSF était de dépasser les goulets d'étranglement traditionnels de la modélisation 3D liés au niveau de détail, aux structures complexes et à la scalabilité. Les méthodes passées souffraient souvent d'une perte de détails lors du preprocessing, d'une expression insuffisante des géométries complexes, ou de coûts exorbitants en mémoire et en calcul à haute résolution. Notre recherche d'un tokenizer capable de repousser les limites de la génération 3D a conduit au développement de SparseFlex — une avancée majeure.
SparseFlex exploite les points forts de Flexicubes — capable d'extraire de manière différentiable des meshes présentant des détails marqués — tout en introduisant de manière innovante une structure sparse voxel qui stocke et calcule les informations voxel uniquement à proximité des surfaces des objets. Les avantages sont significatifs :
- Utilisation de la mémoire considérablement réduite : permet à TripoSF de s'entraîner et d'inférer à une haute résolution de 1024³.
- Prise en charge native de topologies arbitraires : en omettant les voxels dans les régions vides, il représente naturellement les surfaces ouvertes (telles que les tissus et les feuilles) tout en capturant efficacement les structures internes.
- Optimisation directe via la rendering loss : SparseFlex est différentiable, ce qui permet à TripoSF d'utiliser la rendering loss pour un entraînement de bout en bout et d'éviter la dégradation des détails causée par la conversion des données (par exemple, les ajustements de watertightness).
Les résultats expérimentaux indiquent que TripoSF établit un nouvel état de l'art. Sur plusieurs benchmarks standards, TripoSF a obtenu une réduction d'environ 82 % du Chamfer Distance et une amélioration de 88 % du F-score par rapport aux méthodes précédentes.
Ressources
【TripoSG 】
【 TripoSF 】
D'autres mises à jour et améliorations de nos projets open-source seront publiées rapidement sur les comptes officiels GitHub, HuggingFace et X (anciennement Twitter) de VAST AI Research :
En plus de ces projets open-source, les outils disponibles sur le Tripo Web et notre API économique offrent un accès fluide aux derniers services de modèles fournis par VAST.
Pour toute suggestion ou collaboration d'ordre technique ou académique, n'hésitez pas à nous contacter à l'adresse research@vastai3d.com.
Un scanner ne peut pas capturer chaque recoin de la face cachée de la lune, mais dans la nature sauvage, il y a toujours ceux qui peinent dans les mines. Le son des pioches frappant la terre résonne sans interruption jusqu'au jour où tout se fond en un seul écho — un témoignage retentissant que l'open source est comme une pioche frappant le sol, sur la face cachée de la lune où aucune carte n'existe.
Explorer davantage
- Idées d'impression 3D
- Où créer des modèles d'impression 3D
- Animation Web 3D à partir d'un dessin CAD 2D
- Modèle 3D de forme humaine antique
