Présentation de Project Eden : un modèle du monde pour le multijoueur et les agents
Nous publions un aperçu de recherche de Project Eden, un modèle du monde persistant conçu pour un usage multijoueur et pour des agents IA partageant un seul monde cohérent. Il fonctionne en continu, se souvient de ce que vous lui faites, et reste cohérent quel que soit l'angle de caméra qui l'observe. L'aperçu technique complet est disponible ici : Project Eden research preview.
L'idée derrière Project Eden est simple à énoncer et difficile à construire. La plupart des systèmes qu'on appelle actuellement des "modèles du monde" sont des générateurs vidéo ; ils prédisent l'image suivante et oublient tout dès qu'elle a défilé hors de l'écran. Project Eden, lui, maintient le monde en fonctionnement sous l'image. Éteignez un feu et il reste éteint. Détournez le regard d'un mur et il est toujours là quand vous vous retournez. Deux joueurs courent sur une même piste depuis des angles différents et restent dans une seule et même réalité.
Cette différence est tout l'enjeu. Les sections ci-dessous expliquent pourquoi elle compte et comment cela fonctionne.
Pourquoi la plupart des "modèles du monde" n'en sont pas
La vidéo générative a fait de grands progrès. Les modèles conditionnés par l'action répondent à vos entrées et produisent des mouvements fluides, et l'industrie a commencé à les appeler des modèles du monde.
Il existe pourtant un écart entre prédire des pixels et simuler un monde. Générer l'image suivante vous dit comment une image doit changer. Un véritable modèle du monde doit suivre ce que ces pixels signifient : les objets, les espaces, les règles, la mémoire et les conséquences physiques qui doivent rester en place, qu'une caméra les regarde ou non.
Jusqu'ici, la recherche s'est divisée en deux voies, et chacune se heurte à un mur.
La génération vidéo conditionnée par l'action gère bien le mouvement mais n'a pas de mémoire durable. L'"état" du monde vit dans une courte fenêtre d'images récentes, donc tout ce qui sort du champ de la caméra peut dériver, disparaître ou revenir de manière incorrecte. On obtient le temps sans la permanence.
La génération de scènes 3D statiques vous donne un espace solide et navigable, mais le fige. La physique, les événements et le changement ne font pas partie du design. On obtient la structure sans le changement.
Ainsi, une voie se souvient de la façon dont les choses bougent mais oublie qu'elles existent. L'autre se souvient qu'elles existent mais ne peut pas les laisser changer. Un véritable modèle du monde a besoin des deux.
L'idée centrale : l'état avant le rendu
Le principal choix de conception de Project Eden est de séparer l'état du monde du rendu.
La réalité fonctionne déjà ainsi. Le monde est là avant même qu'une caméra le regarde. Ce sont des questions d'état, pas de rendu. Ainsi, plutôt que d'entasser l'espace, les objets, les événements et l'apparence dans un flux de pixels, Project Eden maintient un monde sous-jacent fonctionnant de manière autonome. Le rendu devient une façon d'observer ce monde, et non l'endroit où ce monde est stocké.
Comment cela fonctionne : trois couches
Un générateur vidéo unique chargé de tout faire est remplacé par trois couches, chacune avec un rôle clair.
Un état structuré en évolution. C'est là que le monde existe. C'est une représentation compacte, et non un gigantesque nuage de points 4D, et elle suit la géométrie grossière, l'identité des objets, la sémantique et ce que vos actions ont produit. Les objets qui sortent du cadre ne sont pas jetés. Les changements sont réécrits dans l'état et persistent.
Une interface état-vers-observation. Lorsqu'une vue doit être rendue, cette couche transforme l'état du monde en indices conditionnés par la caméra : géométrie locale, sémantique, changements récents. Chaque point de vue puise dans la même source, de sorte que différentes caméras restent physiquement cohérentes.
Un rendu neuronal génératif. Le moteur de rendu prend ces indices et produit ce que vous voyez : éclairage, texture, matériaux, fumée, feu, eau, mouvement. Il n'a pas besoin de se souvenir du monde. Il doit seulement l'afficher.
Ce que Eden peut faire
Séparer l'état du rendu ouvre des possibilités que la vidéo pure ou la 3D statique ne peuvent pas offrir ensemble.
Les objets ne disparaissent pas lorsqu'ils quittent le cadre. Ils restent dans l'état sous-jacent, vous pouvez donc détourner le regard aussi longtemps que vous le souhaitez et le monde est toujours là lorsque vous revenez. Dans notre démo d'extinction d'incendie, éteindre le feu n'est pas un effet passager. L'environnement entre dans un état modifié et le conserve.
La physique réagit à des entrées variées. Dirigez un bateau ou conduisez une voiture, et l'action est enregistrée dans l'état et met à jour la dynamique.
Les mondes sont réutilisables et modifiables. La génération vidéo fonctionne dans un seul sens ; une fois que la chronologie avance, vous ne pouvez pas revenir en arrière. Eden vous permet d'agir encore et encore sur un monde en cours d'exécution. Laissez une trace, déplacez un objet, déclenchez un résultat, et cela persiste. Les autres personnes qui entrent dans ce monde voient les mêmes changements.
Le multijoueur est intégré. De nombreux agents partagent un même état compact, avec une vue distincte rendue pour chaque caméra. Dans la démo de course, deux voitures partagent une même piste synchronisée depuis des angles différents. Dans la démo de stand de tir, différents joueurs effectuent différentes actions dans un même environnement, et Eden les résout selon les mêmes règles.
Il peut entraîner des agents. Un monde doté d'une physique stable, d'une cohérence temporelle et d'une mémoire longue fonctionne comme un environnement d'entraînement et de test pour l'IA incarnée, où les actions ont des résultats fiables et où le monde ne se réinitialise pas après chaque regard.
Pourquoi c'est important
Eden s'adresse à deux publics. Pour les créateurs, c'est un moteur de contenu interactif : générer un environnement, mettre en place des interactions, inviter des personnes dans un même espace persistant. Pour les chercheurs, c'est une base de simulation avec une cohérence sur le long terme, de vraies règles physiques, des scénarios modifiables et des conséquences mesurables, ce dont les agents incarnés ont besoin pour apprendre de manière fiable.
C'est la raison pour laquelle nous ne classons pas les modèles du monde dans la génération vidéo. Un modèle du monde a besoin d'un état capable de changer.
Et ensuite
Il s'agit d'un aperçu de recherche, pas d'un modèle du monde généraliste achevé, et le travail en est encore à ses débuts. Nous développons une physique plus riche, des environnements plus vastes, une exploration en vue libre plus étendue, une interaction plus fine avec les objets, et un State Transition Model plus robuste qui met à jour le monde à partir des actions, des règles et du feedback. L'évaluation doit elle aussi progresser, en testant la persistance, la cohérence causale, le respect des règles et la synchronisation multi-agents, et pas seulement la qualité visuelle.
Passer de la prédiction du pixel suivant à la simulation de l'état suivant n'est pas seulement un changement d'ingénierie. Cela ouvre la voie à une IA capable de créer, de se souvenir et de raisonner dans des mondes qui tiennent dans la durée.
Lisez la présentation complète, avec des démos et des détails d'architecture, dans le Project Eden research preview.
À propos de VAST AI Research : VAST AI Research développe des modèles de fondation 3D et des modèles du monde. Pour en savoir plus, rendez-vous sur tripo3d.ai/research et suivez @vastairesearch.
