Sterling Bikin Claude Fable 5.1 Kalah di Benchmark Keuangan, 11x Lebih Murah

Samaya AI baru saja ngeluarin Sterling, model riset keuangan yang dibangun di atas Nemotron 3.5 Lightning milik NVIDIA. Model ini punya 30B parameter total tapi cuma 3B yang aktif berkat arsitektur mixture-of-experts. Di benchmark FrontierFinance buatan Samaya sendiri, Sterling nge-skor 58,9% dengan biaya cuma $0,61 per pertanyaan. Bandingin sama Claude Fable 5.1 yang skor 55,9% tapi butuh $6,89 per pertanyaan — artinya Sterling 11x lebih hemat. Buat kamu yang suka ikutin perkembangan AI, ini bukti nyata model kecil bisa ngejar raksasa kalau di-train dengan cara yang bener.

Arsitektur Sterling memang nggak main-main. Dia pakai 37 tools keuangan khusus, mulai dari pengambilan data sampai analisis teknikal. Buat ngelola context yang panjang, Samaya nambahin dua model helper: condenser buat memendekkan hasil tool yang kepanjangan, dan compactor buat merangkum jejak penelusuran seiring bertambahnya data. Ada juga research budget yang ngebatasi lama kerja agent, jadi nggak bisa ngeresearch selamanya. Setelah selesai, report writer terpisah bakal bikin jawaban final dengan sitasi detail. Seluruh sistem ini dirancang biar model 3B-aktif bisa sustain riset panjang lebar tanpa kehabisan context window.

Kenapa model kecil bisa menang dari raksasa

Kunci utama ada di proses training 4 tahap yang dilakukan Samaya pakai LoRA di atas Tinker, API training dari Thinking Machines Lab. Tahap pertama: SFT pada 968 pertanyaan analis sintetis yang dijawab Kimi K3 dua kali, lalu dipilih yang terbaik oleh LLM judge. Tahap kedua: SFT lagi tapi kali ini pakai best-of-8 strategi riset pada 1.819 pertanyaan expert — hasilnya 1.157 pertanyaan lolos filter. Tahap ketiga: offline GRPO di mana semua 8 jawaban guru dinilai berbanding tanpa generate baru, jadi murah. Tahap keempat: online GRPO di mana model sendiri menjawab 8 kali per pertanyaan dan belajar dari kesalahan sendiri. Setiap tahap nambah skor: 42,5% (base) → 51,4% → 54,8% → 57,5% → 58,9%. Median pemanggilan tool naik dari 3 jadi 17.

Benchmark FrontierFinance sendiri punya 220 query publik yang dinilai pakai rubrik expert oleh panel 3 model judge. Samaya bilang nggak ada soal benchmark yang dipakai buat training, dan checkpoint dipilih berdasarkan 100 soal validasi internal. Di mode high-effort, Sterling ngejar 60,6% dengan biaya $1,83 dan latency 372 detik. Yang menarik, pada sepertiga soal paling sulit, skor naik dari 31,8% (base) jadi 45,2% — lompatan 13,4 poin. Biaya model murni cuma $0,04 per pertanyaan, sisanya buat tools dan helper models. Latency-nya 282 detik, sedikit lebih lambat dari Fable 5.1 yang 268 detik.

Trade-off yang perlu kamu tahu