Project Eden'ı tanıtıyoruz: Multiplayer ve Agent'lar için bir World Model

Multiplayer kullanım ve tek bir tutarlı dünyayı paylaşan AI agent'ları için tasarlanmış kalıcı bir world model olan Project Eden'ın research preview sürümünü yayımlıyoruz. Sürekli çalışır, ona yaptığınız şeyleri hatırlar ve hangi kamera ona bakarsa baksın tutarlı kalır. Tam teknik ön izleme burada: Project Eden research preview.

Project Eden'ın arkasındaki fikir söylemesi kolay, inşa etmesi zordur. Şu anda "world model" olarak adlandırılan sistemlerin çoğu video generator'leridir; bir sonraki kareyi tahmin eder ve görüntü ekrandan kaybolduğunda her şeyi unutur. Project Eden bunun yerine görüntünün altında dünyayı çalışır halde tutar. Bir yangını söndürün ve sönük kalır. Bir duvardan başka tarafa bakın, geri döndüğünüzde hâlâ oradadır. İki oyuncu farklı açılardan aynı pistte yarışır ve aynı gerçekliğin içinde kalır.

Asıl mesele tam da bu farktır. Aşağıdaki bölümler bunun neden önemli olduğunu ve nasıl çalıştığını açıklar.

Neden Çoğu "World Model" Değil

Generative video çok gelişti. Action-conditioned modeller girdilerinize yanıt veriyor ve akıcı hareket üretiyor; sektör de bunlara world model demeye başladı.

Yine de piksel tahmin etmekle bir dünyayı simüle etmek arasında bir boşluk var. Bir sonraki kareyi üretmek, bir görüntünün nasıl değişmesi gerektiğini söyler. Gerçek bir world model ise bu piksellerin ne anlama geldiğini izlemek zorundadır: nesneler, mekânlar, kurallar, bellek ve bir kamera bakıyor olsun ya da olmasın yerinde kalması gereken fiziksel sonuçlar.

Şimdiye kadarki araştırmalar iki yola ayrıldı ve her biri bir duvara tosluyor.

Action-conditioned video generation hareketi iyi ele alır ama kalıcı belleği yoktur. Dünyanın "state"i yakın zamandaki kısa bir kare penceresinin içinde yaşar; bu yüzden kameradan çıkan her şey kayabilir, yok olabilir veya yanlış şekilde geri gelebilir. Kalıcılık olmadan zaman elde edersiniz.

Statik 3D scene generation size sağlam, içinde yürünebilir bir alan verir ama onu dondurur. Physics, olaylar ve değişim tasarımın parçası değildir. Değişim olmadan yapı elde edersiniz.

Yani bir yol şeylerin nasıl hareket ettiğini hatırlar ama var olduklarını unutur. Diğeri var olduklarını hatırlar ama değişmelerine izin veremez. Gerçek bir world model ikisine de ihtiyaç duyar.

Temel Fikir: Rendering'den Önce State

Project Eden'ın ana tasarım tercihi, dünya state'ini rendering'den ayırmaktır.

Gerçeklik zaten böyle işler. Herhangi bir kamera ona bakmadan önce dünya oradadır. Bunlar rendering ile değil, state ile ilgili sorulardır. Bu yüzden Project Eden, mekânı, nesneleri, olayları ve görünümü bir piksel akışının içine tıkıştırmak yerine, altında yatan dünyayı kendi başına çalışır halde tutar. Rendering, bu dünyaya bakmanın bir yolu hâline gelir; dünyanın depolandığı yer değil.

Nasıl Çalışır: Üç Katman

Her şeyi yapan tek bir video generator, her biri net bir göreve sahip üç katmanla değiştirilir.

Gelişen yapılandırılmış bir state. Dünyanın yaşadığı yer burasıdır. Dev bir 4D point cloud değil, kompakt bir temsildir ve kaba geometriyi, nesne kimliğini, semantics'i ve eylemlerinizin ne yaptığını izler. Kare dışına çıkan nesneler atılmaz. Değişiklikler geri yazılır ve kalır.

State-to-observation interface. Bir görünümün render edilmesi gerektiğinde, bu katman dünya state'ini kamera koşullu ipuçlarına dönüştürür: yerel geometri, semantics, yakın zamandaki değişiklikler. Her bakış açısı aynı kaynaktan beslenir, böylece farklı kameralar fiziksel olarak tutarlı kalır.

Generative neural rendering. Renderer bu ipuçlarını alır ve gördüğünüz şeyi üretir: lighting, texture, materials, smoke, fire, water, motion. Dünyayı hatırlamak zorunda değildir. Yalnızca onu göstermek zorundadır.

Eden Neler Yapabilir

State ile rendering'i ayırmak, saf video ya da statik 3D'nin birlikte yapamadığı şeyleri mümkün kılar.

Nesneler kareyi terk ettiklerinde yok olmaz. Alttaki state içinde kalırlar; böylece istediğiniz kadar başka tarafa bakabilirsiniz ve geri döndüğünüzde dünya hâlâ oradadır. Yangın söndürme demomuzda, yangını söndürmek geçici bir etki değildir. Ortam değişmiş bir state'e girer ve onu korur.

Physics çeşitli girdilere yanıt verir. Bir tekneyi yönlendirin ya da araba sürün; eylem state'e kaydolur ve dinamikleri günceller.

Dünyalar yeniden kullanılabilir ve düzenlenebilir. Video generation tek yönlü çalışır; zaman çizelgesi ilerledikten sonra geriye uzanamazsınız. Eden, çalışan bir dünya üzerinde tekrar tekrar eylemde bulunmanıza izin verir. Bir iz bırakın, bir nesneyi taşıyın, bir sonucu tetikleyin ve bunlar kalıcı olur. O dünyaya giren diğer insanlar da aynı değişiklikleri görür.

Multiplayer yerleşik olarak gelir. Birçok agent tek bir kompakt state'i paylaşır; her kamera için ayrı bir görünüm render edilir. Yarış demomuzda iki araba, farklı açılardan aynı senkronize pisti paylaşır. Atış poligonu demomuzda, farklı oyuncular tek bir ortamda farklı eylemler gerçekleştirir ve Eden bunları aynı kurallar altında çözümler.

Agent'ları eğitebilir. Kararlı physics'e, zamansal tutarlılığa ve uzun belleğe sahip bir dünya, embodied AI'ı eğitmek ve test etmek için bir ortam olarak çalışır; burada eylemlerin güvenilir sonuçları vardır ve dünya her bakıştan sonra sıfırlanmaz.

Neden Önemli

Eden iki kitleye hizmet eder. Yaratıcılar için, etkileşimli içerik üretmeye yönelik bir engine'dir: bir ortam üretin, etkileşimleri kurun, insanları aynı kalıcı alana davet edin. Araştırmacılar için ise uzun ufuklu tutarlılık, gerçek fiziksel kurallar, düzenlenebilir senaryolar ve ölçülebilir sonuçlar sunan bir simülasyon temelidir; embodied agent'ların güvenilir şekilde öğrenmesi için gereken de budur.

İşte bu yüzden world model'leri video generation altında sınıflandırmıyoruz. Bir world model'in değişebilen bir state'e ihtiyacı vardır.

Sırada Ne Var

Bu bir research preview, tamamlanmış genel amaçlı bir world model değil ve çalışma henüz erken aşamada. Daha zengin physics, daha büyük ortamlar, daha geniş free-viewpoint keşfi, daha ince nesne etkileşimi ve dünyayı eylemlerden, kurallardan ve geri bildirimden güncelleyen daha güçlü bir State Transition Model inşa ediyoruz. Değerlendirme de büyümeli; yalnızca görsel kaliteyi değil, kalıcılığı, nedensel tutarlılığı, kurallara uymayı ve multi-agent senkronizasyonunu da test etmeli.

Bir sonraki pikseli tahmin etmekten bir sonraki state'i simüle etmeye geçmek yalnızca bir mühendislik değişikliği değil. Bu, içinde kalıcılık olan dünyalar içinde yaratabilen, hatırlayabilen ve akıl yürütebilen AI'a doğru işaret ediyor.

Tam metni; demolar ve mimari ayrıntılarla birlikte Project Eden research preview içinde okuyun.

VAST AI Research hakkında: VAST AI Research, 3D foundation model'ler ve world model'ler geliştirir. Daha fazlasını tripo3d.ai/research adresinde öğrenin ve @vastairesearch hesabını takip edin.