Ricursive Luncurkan Ripple-65B: Model 65B yang Bikin MoE Raksasa Ketar-ketir?

Ricursive Intelligence baru saja ngeluarin Ripple-65B Preview, model LLM dense 65B parameter yang dibuka bobotnya di bawah lisensi Apache 2.0. Bedanya sama kebanyakan model besar sekarang, Ripple ini nggak pakai arsitektur Mixture-of-Experts (MoE) tapi dense Transformer murni — artinya semua 65B parameternya aktif pas inference, nggak cuma subset kecil. Tim Ricursive bilang pilihan ini bikin infrastrukturnya lebih simpel: training mencapai 40% MFU dengan sharding standar, nggak butuh custom kernel atau quantisasi. Model ini dipretrain dari nol pakai 12 triliun token (mostly English dan code) di sequence length 8K, dan support context hingga 1 juta token. Biaya R&D penuh diklaim $32 juta, yang menurut tim cuma sepersepuluh biaya pemimpin open-weight agentic coding sebelumnya.

Yang bikin Ripple-65B jadi perhatian adalah skor Terminal-Bench 2.1-nya: 80.5 (self-reported), nomor satu di antara model open-weight buatan US. Bandingin aja: Reflection Beam (501B MoE) skor 80.1, Muse Spark Open (816B MoE) 76.4, Inkling (975B MoE) 63.8, dan Nemotron 3 Ultra (550B MoE) 56.4. Artinya model dense 65B ini ngalahin raksasa MoE yang total parameternya 8-15 kali lipat. Lebih gila lagi, pas Ricursive rerun benchmark pakai harness resmi Terminus 2 di 128K context, kebanyakan kompetitor turun drastis — Beam anjlok jadi 70.8 — tapi Ripple tetep pegang 80.5. Di SWE-bench Pro v2.0 Hard dia juga top skor 79.1. Tapi di SWE-bench Verified dia di bawah Beam (80.9) dan Inkling (77.6) dengan skor 76.5.

Arsitektur tipis tapi dalam, dirancang buat stabilitas

Arsitektur Ripple-65B itu unik: d_model 5120 di 80 layer, desain mirip Gemma 3N yang dipilih buat stabilitas training. Tim ngelakuin laddering experiments mulai dari skala 4B (berbasis Olmo 3) dan nolak perubahan yang gagal bertahan di skala kecil — kayak 2-stream mHC. Hasilnya, mereka klaim dapat 16x code compute-efficiency gain di skala 4B, sampai 55x untuk full run. Pilihan kunci lain: attention heads di-overprovision buat reasoning, dibayar dengan lebih banyak sliding-window layers dan window size lebih kecil. Ada gated attention, global NoPE, value residuals, dan FFN activation clipping (teknik yang juga dipakai gpt-oss). Semua ini bikin training BF16 berjalan lancar tanpa custom kernel.

Post-training hemat rollout, tapi data sintetis buatan sendiri

Fase post-training-nya cukup intens: midtraining 200B token, long context 6.5B token, SFT + long-context SFT 196.5B token, lalu mixed RL dengan 1,4 juta rollout. Angka rollout ini menarik — Ricursive bilang kira-kira 70x lebih sedikit dari Beam yang butuh 100 juta+ rollout. Tim juga nggak beli data post-training sama sekali, tapi bangun pipeline sintetis sendiri. RL recipe-nya pakai truncated importance sampling, score centering, dan linear length penalty. Checkpoint yang dirilis ada tiga: BF16 instruct, eksperimental NVFP4 (MLP di NVFP4, attention tetep BF16), dan BF16 base. Semua di Hugging Face, plus tersedia di GMI Cloud dan OpenRouter saat launch, Together AI (coming soon), dan Fireworks nanti.

Kecepatan 250 tok/s di 2x B200, target DGX Spark lewat NVFP4

Soal performa inference, Ripple-65B ngejar 250 token per detik di 2x B200 batch 8, sebelum quantisasi atau custom kernel. Versi NVFP4 eksperimental ditargetin buat device lokal kelas NVIDIA DGX Spark — artinya model 65B ini bisa jalan di hardware yang relatif terjangkau buat tim kecil atau individual developer. Ada juga varian DFlash2 yang dicantumin. Tapi ingat, model ini text-only dan post-training-nya masih ringan, jadi jangan harap performa multimodal atau reasoning ilmiah yang dalam.

Sisi lemah jujur: sains, coding ilmiah, dan MCP masih kalah

Ricursive jujur nampilin kelemahan Ripple di model card mereka. Di SciCode (coding ilmiah) skor cuma 39.4 — terendah di antara 5 model di tabel mereka, jauh di bawah Muse Spark Open 58.5. DeepSWE 1.1 juga cuma 44.3, MCP Atlas 71.67 (vs Muse 89.2), dan GPQA Diamond 85.2 (vs kompetitor 87-89). Matematika parah bagus: 98.3 di AIME 2025 dan 90.5 di HMMT Feb 2026. Jadi kalau kamu butuh model buat agentic coding umum, terminal tasks, dan math reasoning — Ripple-65B worth a shot. Tapi kalau butuh deep scientific coding atau knowledge-intensive tasks, MoE raksasa masih unggul. Apache 2.0 license-nya bikin bebas komersial, jadi silakan eksperimen sendiri.