Представляємо Project Eden: світова модель для мультиплеєра та агентів
Ми випускаємо дослідницький прев’ю Project Eden, персистентної світової моделі, створеної для мультиплеєрного використання та AI-агентів, які спільно перебувають в одному узгодженому світі. Вона працює безперервно, пам’ятає, що ви з нею робите, і залишається узгодженою незалежно від того, яка камера на неї дивиться. Повне технічне прев’ю тут: дослідницький прев’ю Project Eden.
Ідею Project Eden легко сформулювати й важко реалізувати. Більшість систем, які зараз називають «світовими моделями», є генераторами відео; вони прогнозують наступний кадр і забувають усе, щойно воно зникає з екрана. Натомість Project Eden підтримує роботу світу під зображенням. Загасіть пожежу — і вона залишиться загашеною. Відверніться від стіни — і вона все ще буде там, коли ви повернетеся. Двоє гравців мчать однією трасою з різних ракурсів і залишаються в межах однієї реальності.
Саме ця відмінність і є головною. У розділах нижче пояснюється, чому це важливо і як це працює.
Чому більшість «світових моделей» такими не є
Генеративне відео стало якісним. Моделі, зумовлені діями, реагують на ваші введення та створюють плавний рух, і індустрія почала називати їх світовими моделями.
Проте між прогнозуванням пікселів і симуляцією світу є розрив. Генерація наступного кадру підказує, як має змінитися зображення. Справжня світова модель має відстежувати, що ці пікселі означають: об’єкти, простори, правила, пам’ять і фізичні наслідки, які мають зберігатися незалежно від того, дивиться на них камера чи ні.
Дослідження досі розділялися на два шляхи, і кожен упирається в стіну.
Генерація відео, зумовлена діями, добре обробляє рух, але не має тривалої пам’яті. «Стан» світу живе всередині короткого вікна нещодавніх кадрів, тож усе, що виходить за межі камери, може дрейфувати, зникати або повертатися неправильним. Ви отримуєте час без сталості.
Статична генерація 3D-сцен дає вам цілісний простір, яким можна ходити, але заморожує його. Фізика, події та зміни не є частиною задуму. Ви отримуєте структуру без змін.
Отже, один шлях пам’ятає, як речі рухаються, але забуває, що вони існують. Інший пам’ятає, що вони існують, але не може дозволити їм змінюватися. Справжній світовій моделі потрібні обидві властивості.
Основна ідея: стан перед рендерингом
Головне проєктне рішення Project Eden — відокремити стан світу від рендерингу.
Реальність уже працює саме так. Світ існує до того, як на нього подивиться будь-яка камера. Це питання стану, а не рендерингу. Тому замість того, щоб втискати простір, об’єкти, події та зовнішній вигляд у потік пікселів, Project Eden підтримує базовий світ, що працює сам по собі. Рендеринг стає способом дивитися на цей світ, а не місцем, де світ зберігається.
Як це працює: три шари
Один генератор відео, який робить усе, замінюється трьома шарами, кожен із чітким завданням.
Еволюційний структурований стан. Саме тут живе світ. Це компактне представлення, а не гігантська 4D-хмара точок, і воно відстежує грубу геометрію, ідентичність об’єктів, семантику та те, що зробили ваші дії. Об’єкти, які виходять із кадру, не викидаються. Зміни записуються назад і зберігаються.
Інтерфейс стан-спостереження. Коли потрібно відрендерити вид, цей шар перетворює стан світу на підказки, зумовлені камерою: локальну геометрію, семантику, нещодавні зміни. Кожна точка огляду бере дані з одного джерела, тож різні камери залишаються фізично узгодженими.
Генеративний нейронний рендеринг. Рендерер бере ці підказки й створює те, що ви бачите: освітлення, текстури, матеріали, дим, вогонь, воду, рух. Йому не потрібно пам’ятати світ. Йому потрібно лише показати його.
Що може Eden
Відокремлення стану від рендерингу відкриває можливості, які чисте відео або статичне 3D не можуть поєднати.
Об’єкти не зникають, коли виходять із кадру. Вони залишаються в базовому стані, тож ви можете відвертатися скільки завгодно, і світ усе ще буде там, коли ви повернетеся. У нашій демонстрації гасіння пожежі загасити вогонь — це не тимчасовий ефект. Середовище переходить у змінений стан і зберігає його.
Фізика реагує на різні введення. Керуйте човном або автомобілем, і дія реєструється в стані та оновлює динаміку.
Світи можна повторно використовувати й редагувати. Генерація відео рухається в один бік; щойно таймлайн іде далі, ви не можете повернутися назад. Eden дає змогу знову й знову діяти у світі, що працює. Залиште слід, перемістіть об’єкт, запустіть результат — і це збережеться. Інші люди, які увійдуть у цей світ, побачать ті самі зміни.
Мультиплеєр вбудовано. Багато агентів спільно використовують один компактний стан, а для кожної камери рендериться окремий вид. У демонстрації перегонів дві машини спільно використовують одну синхронізовану трасу з різних ракурсів. У демонстрації тиру різні гравці виконують різні дії в одному середовищі, а Eden узгоджує їх за тими самими правилами.
Вона може тренувати агентів. Світ зі стабільною фізикою, часовою узгодженістю та довгою пам’яттю працює як середовище для навчання й тестування втіленого AI, де дії мають надійні результати, а світ не скидається після кожного погляду.
Чому це важливо
Eden служить двом аудиторіям. Для творців це рушій для інтерактивного контенту: згенерувати середовище, налаштувати взаємодії, запросити людей в один спільний персистентний простір. Для дослідників це симуляційна база з довгостроковою узгодженістю, реальними фізичними правилами, редагованими сценаріями та вимірюваними наслідками — саме тим, що потрібно втіленим агентам для надійного навчання.
Ось чому ми не відносимо світові моделі до генерації відео. Світовій моделі потрібен стан, який може змінюватися.
Що далі
Це дослідницький прев’ю, а не завершена універсальна світова модель, і робота перебуває на ранній стадії. Ми будуємо багатшу фізику, більші середовища, ширше дослідження з вільною точкою огляду, тоншу взаємодію з об’єктами та сильнішу State Transition Model, яка оновлює світ на основі дій, правил і зворотного зв’язку. Оцінювання також має розвиватися: тестувати персистентність, причинну узгодженість, дотримання правил і синхронізацію між багатьма агентами, а не лише візуальну якість.
Перехід від прогнозування наступного пікселя до симуляції наступного стану — це не лише інженерна зміна. Він вказує на AI, який може створювати, пам’ятати й міркувати всередині світів, що зберігаються.
Читайте повний матеріал із демонстраціями та деталями архітектури в дослідницькому прев’ю Project Eden.
Про VAST AI Research: VAST AI Research створює 3D foundation models і світові моделі. Дізнайтеся більше на tripo3d.ai/research і стежте за @vastairesearch.
