AWS Luncurkan Strands Decider 2B: Model Keputusan Open Source Cuma 115 ms

AWS Strands Labs baru saja drop Strands Decider 2B, model keputusan open source yang beda banget sama LLM biasa. Kalau LLM pada generate teks bebas, model ini cuma satu tugas: baca konteks, terima pertanyaan bertipe choice, yes/no, atau score, terus return jawaban dengan confidence yang sudah terkalibrasi — semua dalam sekali forward pass doang. Gak ada decoding loop, gak ada teks keluar, cuma output terstruktur yang siap dipakai sistem. Beratnya 1,9 miliar parameter, lisensi Apache-2.0, dan bisa dijalankan lokal di CPU, GPU konsumer kayak RTX 3090, atau Mac Apple Silicon tanpa butuh cloud.

Konsep decision model ini baru ngetrend sebulan lalu pas TypeSafe AI luncurin Jev. Bedanya sama LLM: LLM itu mulutnya lepas, bisa ngomong apa aja. Decision model ini mulutnya dikunci, cuma bisa milih antara opsi yang sudah ditentukan atau nge-rate skala tertentu. Strands Decider support tiga tipe pertanyaan: choice (pilih 1 dari N opsi), noul (probabilitas yes/no 0-1), dan score (level di rubrik berurutan). Setiap jawaban bawa confidence score, jadi kamu tau seberapa percaya diri model sama pilihannya. Tim Strands sendiri jujur bilang model ini kalah sama reasoning model buat masalah kompleks, jadi jangan dipakai buat coding, chat, atau summarization.

Arsitektur: LLM yang Dibuang Mulutnya

Cara kerja Strands Decider cukup cerdas: tim mulai dari Qwen3.5-2B-Base, terus buang language-modelling head-nya (bagian yang biasa generate token berikutnya). Diganti pointer head kecil sekitar 1 juta parameter yang ngebandingin hidden state di posisi pertanyaan dengan hidden state di token terakhir setiap opsi. Satu forward pass langsung keluar hasil, tanpa loop decoding. Torso-nya pakai rank-16 LoRA, head jalan di fp32. Label set datang dari request, jadi jumlah opsi gak dibatasi. Checkpoint yang dirilis adalah v19. Keuntungan besar: baca state sekali, setiap pertanyaan tambahan cuma nambah token pertanyaannya doang — jadi murah banget kalau mau tanya banyak hal soal teks yang sama.

Soal performa, angka-angka v19 cukup menggiurkan. Di JevBench v1 public set, akurasinya 0,723 (167 dari 231 task), Brier score 0,342, expected calibration error 0,052. Breakdown per tier: easy 1,000, standard 0,875, hard 0,505. Latency median di RTX 3090 cuma 115 ms, p95 299 ms. Di M3 Pro warm median 153 ms di bawah 300 token. Di leaderboard v1.4.2 tanggal 25 September, v19 ranking 3 dari 33 di kelas 2B, dan jadi nomor 1 dari 30 kalau dikecualikan 3 model yang sedikit melebihi 2B parameter. Tapi ada catatan: Mapika punya decider-2b v11 yang skor 175 dari 231 di harness Strands, 8 task lebih unggul. Strands Decider belum masuk board v1.5.4 terbaru saat artikel ini ditulis.

Kalibrasi: Keunggulan Praktis yang Beneran Berguna

Bagian paling praktis menurut tim: kalibrasi. Di task klasifikasi pendek yang belum pernah dilihat, jawaban dengan confidence 0,9 atau lebih tinggi ternyata benar sekitar 95% waktu. Di bawah threshold itu, tim sarankan konfirmasi manual atau escalate ke LLM reasoning. Ini bikin model ini cocok banget buat otomatisasi yang butuh kepercayaan tinggi — misalnya gating tool call di agent, triage tiket support, atau model routing. Contoh di repo: before_tool_call intervention nanya 2 pertanyaan yes/no — apakah argumen grounded di input user, dan apakah pemanggilan sekarang premature. Kalau agent nebak kota, dia tanya user instead of jalanin tool salah.

Install gampang: `pip install strands-decider` kasih CLI dan HTTP server. Server default bind ke 127.0.0.1 tanpa auth, jadi buat production kamu harus tambah layer autentikasi sendiri. Belum ada hosted inference provider yang serve model ini, jadi self-hosting adalah jalan satu-satunya saat ini. Weights ada di Hugging Face, full training recipe dan data list juga dipublish — langka banget buat model kelas ini. Use case awal yang dilaporkan tim: model routing, tool selection, argument checking, triage, guardrails, evals, dan hybrid agents. Di hybrid agent, LLM handle decision sulit, Decider handle yang rutinan.

Kapan Harus Pakai (dan Kapan Jangan)

• Cocok: routing request ke model/spesialis yang tepat, gating tool call, klasifikasi cepat dengan confidence terukur, triage otomatis, evals terstruktur
• Kurang cocok: reasoning kompleks, coding, creative writing, summarization, tugas butuh penjelasan natural language
• Perlu diingat: confidence < 0,9 butuh human-in-the-loop, server default tanpa auth, belum ada hosted API

Buat kamu yang bangun agent atau pipeline AI, Strands Decider 2B worth a try — apalagi kalau butuh keputusan cepat, deterministik, dan auditable tanpa biaya cloud. Coba install lokal, mainkan CLI-nya, tes latency di hardware kamu. Kalau confidence tinggi dan akurasi cocok, bisa jadi komponen hemat token dan latency di sistem production. Tapi ingat: ini tool spesialis, bukan replacement LLM. Gunakan di tempat yang tepat, dan selalu siapkan fallback ke reasoning model atau human untuk case edge.