NVIDIA Buka 4 Model Cosmos 3 Buat Simulasi Dunia Interaktif

NVIDIA baru saja nge-drop empat checkpoint baru untuk platform Cosmos 3, dan ini kabar gede buat kamu yang lagi ngincar model simulasi dunia yang bisa dipakai bebas. Keempat model ini adalah versi post-trained dari Cosmos 3 Nano, masing-masing punya 16 miliar parameter yang bisa dilatih. Yang bikin beda: semuanya dirilis pakai lisensi OpenMDW1.1, artinya kamu bebas pakai untuk keperluan komersial maupun non-komersial tanpa ribet lisensi rumit. Ini bukan cuma demo — ini model siap pakai yang bisa diunduh langsung dari Hugging Face.

Empat model itu punya fokus beda-beda tapi saling melengkapi. Cosmos3-Nano-Transfer-Auto dirancang buat generasi data mengemudi sintetis offline — bisa nge-generate video sinkron hingga 11 kamera termasuk fisheye, plus LiDAR joint RGB. Cosmos3-Nano-Sim-Auto adalah versi streaming-nya yang sudah didistilasi buat inferensi cepat, cocok buat rollout interaktif panjang. Cosmos3-Nano-Sim-Transfer ambil state dari simulator fisika lalu render jadi observasi visual yang bisa dikonsumsi policy. Terakhir, Cosmos3-Nano-Sim-Bimanual fokus buat simulasi robot dua lengan (bimanual) yang responsif terhadap aksi manipulasi dan perubahan viewpoint.

Arsitektur Mixture-of-Transformers yang Bikin Bedanya

Di balik layar, Cosmos 3 pakai backbone Mixture-of-Transformers yang menghubungkan jaringan pemrosesan teks dan generasi visual lewat attention. Generator memprediksi setiap segmen pendek dari prompt, kontrol yang tersedia, dan history yang sudah digenerate. Proses denoising mengubah representasi video terkompresi berderau jadi segmen bersih, sementara temporal-causal attention memastikan model hanya 'melihat' history dan kontrol masa lalu — nggak bisa curang lihat target masa depan. Key/value cache nyimpan info attention buat prediksi berikutnya, bikin inferensi lebih efisien. Setiap latent time step mewakili empat frame RGB, jadi chunk lebih kecil artinya kontrol baru bisa mempengaruhi generasi lebih sering.

Empat Tahap Post-Training: Dari Adaptasi Hingga Self-Forcing

Resep post-training NVIDIA dibagi empat tahap yang harus dijalankan berurutan. Stage 0 (Bidirectional adaptation): model belajar relasi kontrol-ke-video dari klip rekaman lengkap. Stage 1 (Teacher forcing): prediksi chunk dari observasi rekaman sebelumnya dengan target masa depan di-mask. Stage 2 (Consistency distillation): guru beku melatih siswa buat generate tiap chunk dalam empat langkah denoising. Stage 3 (Self-forcing): latihan pakai history yang digenerate sendiri siswa, dibantu guru beku dan auxiliary score model. Tahap terakhir ini krusial soalnya error kecil di frame awal bisa numbuh jadi error gede di frame berikutnya — self-forcing nge-expose model ke history yang digenerate sendiri biar belajar koreksi.

• Transfer-Auto: post-train pakai data mengemudi sendiri buat adaptasi sensor rig & domain, generate data sintetis offline
• Sim-Auto: causal training + distilasi dari Transfer-Auto yang sudah diadaptasi buat streaming cepat
• Sim-Transfer: post-train checkpoint buat environment kamu dengan data prep lokal
• Sim-Bimanual: post-train buat embodiment robot kamu dengan validasi data & checkpoint handoff

Buat jalanin ini, kamu butuh Linux, GPU NVIDIA, Docker, dan NVIDIA Container Toolkit. Setup vLLM-Omni yang dipublikasikan dites di satu GB200 — tapi ini bukan spesifikasi memori minimum. Server akan download weights otomatis, client fetch sample inputs. Dokumentasi lengkap termasuk data contract, action schema, dan konfigurasi stage ada di repo resmi. Kalau kamu pengembang robotik atau riset kendaraan otonom, ini starting point terbuka yang solid — nggak perlu bangun dari nol, tinggal adaptasi ke kebutuhan sensor dan domain kamu.