prime-rl 0.6.0: Trillion‑Parameter MoE Siap Tackle RL Agen‑Agen

Prime Intellect baru aja meluncurkan prime‑rl versi 0.6.0. Ini framework open‑source buat reinforcement learning yang fokus ke model MoE (Mixture‑of‑Experts) skala triliunan parameter. Jadi, kalau kamu ngincar tugas agen‑agen yang panjang banget, kayak coding otomatis, ini cocok banget.

Versi terbaru ini udah dibuktikan dengan GLM‑5 yang dilatih buat tugas Software Engineering (SWE). Mereka ngasih sequence length sampai 131 ribu token, step time di bawah lima menit, dan batch 256 rollouts. Semua itu cuma pakai 28 node NVIDIA H200, bukan ratusan node.

Kunci utama prime‑rl itu asinkron. Trainer dan inference dipisah, jadi nggak ada GPU yang nganggur nunggu rollout selesai. Begitu optimizer selesai, weight baru langsung dikirim ke inference, sementara rollout lama masih jalan dengan cache KV yang udah ada. Ini bikin tiap rollout bisa pakai kombinasi versi policy yang berbeda.

Di sisi inference, prime‑rl pakai FP8, Wide Expert Parallelism (≥32 GPU), prefill/decode disaggregation, dan KV offloading lewat Mooncake Store. Semua itu ngurangin bottleneck throughput, jadi kamu dapat kecepatan tinggi tanpa melambatnya latency.

Untuk training, mereka ngandelin 3‑D parallelism: FSDP, Expert Parallelism, dan Context Parallelism. Ditambah block‑scaled FP8 (DeepSeek V3) supaya precision training sama inference. Hasilnya? KL mismatch turun drastis, training jadi stabil meski beban agenik tinggi.

Intinya, prime‑rl 0.6.0 ngasih toolkit lengkap buat ngelatih model MoE triliunan parameter pada beban RL agenik. Kalau kamu mau coba, tinggal jalankan satu perintah di cluster Slurm, pilih model MoE yang support (misalnya GLM‑5, Kimi‑K2.7‑Code, atau Nemotron‑3‑Ultra), dan nikmati training yang lebih cepat serta stabil.