Baseten Luncurkan joey-1: Model Keputusan 2B Cuma $0.01 per 1M Token

Baseten baru saja ngeluarin joey-1, model keputusan 2B parameter yang beda banget sama LLM biasa. Model ini nggak nulis teks bebas yang mesti kamu parse sendiri, tapi langsung ngembaliin label plus probabilitas kalibrasi untuk setiap opsi pertanyaan. Artinya kamu kirim state (teks atau gambar) plus satu atau lebih pertanyaan, dia jawab dalam satu forward pass aja. Cocok banget buat routing ticket support, klasifikasi konten, atau guardrail check yang butuh keputusan cepet dan murah.

Harganya bikin terkejut: cuma $0.01 per 1 juta input token di Baseten Model APIs. Output dan cached input malah gratis $0.00. Latency P50 end-to-end cuma 20 ms untuk request rata-rata 2.000 token — itu kira-kira 2,5x lebih cepat dari saudara kembarnya elephant-1 (9B) yang butuh 49 ms. Baseten bilang joey-1 5x lebih cepat dari model keputusan sebanding lain, meski ngga sebut nama siapa. Buat skala 10 juta ticket support per bulan (sekitar 500 token tiap ticket), biaya cuma sekitar $50. Bandingin sama mammoth-1 (27B) yang mahal $500 untuk volume sama.

Kenapa joey-1 beda sama LLM biasa

LLM biasa generate teks terus kamu mesti bikin parser buat ekstrak jawaban — rawan error dan tambah latency. joey-1 dirancang khusus buat decision tasks: kamu tanya "route ke billing atau support?" dia balikin probabilitas tiap opsi, misal billing 0,87 support 0,13. Ada 3 tipe pertanyaan: choice (pilih 1 opsi bernama), yes/no (disebut noul di API, balikin prob yes), dan score (level berurutan kayak urgency: bisa nunggu, hari ini, blocking now). Semua pertanyaan dibaca dari 1 shared prefix prefill, jadi nambah pertanyaan ngga signifikan nambah biaya komputasi.

Arsitekturnya post-trained dari Qwen3.5-2B dengan full fine-tune, vision encoder stay frozen. Pakai block-bidirectional attention mask biar tiap pertanyaan bisa liat opsi sendiri. Training pakai 6,21 juta contoh keputusan: 58,3% core decision skills, 16,1% safety, 16,1% judging/expert domains, 9,5% public data. Objective cross-entropy plus Brier calibration term, dengan opsi "I don't know" yang dilatih. Hardware: 2 node 8 H100 GPU, 1 epoch, 43.390 steps, peak LR 1e-5, bf16. Kalibrasi ini kuncinya — kamu bisa set confidence threshold, jawaban ragu bisa di-escalate ke elephant-1, mammoth-1, atau manusia.

Performa dan benchmark yang bikin penasaran

Di Jev Decision Index 0.4 public split (leaderboard komunitas di Hugging Face), joey-1 skor 63,30 — ranking #37 dari 230 model dan top scorer di bawah 4B parameter. Ngalahin Cloudflare Clef 27B (61,71) dan Jev 1.14 (60,70). Tapi kalah dari elephant-1 9B (72,24) gap 8,94 poin di split yang sama. Di replica Artificial Analysis Decision Index milik Baseten sendiri, joey-1 62,9 vs mammoth-1 65,9. Benchmark ini self-reported dari model card Baseten, jadi ambil dengan secuil garam. Poin penting: joey-1 unggul di 4 dari 5 area vs Jev 1.14, termasuk language, tools, dan retrieval.

Cara deploy dan harga yang nggak bikin dompet nangis

Tiga cara pakai: Model APIs panggil decision-models/baseten-joey-2b-latest di endpoint /v1/systemone (zero data retention default). Dedicated deployments unlock 262k context, fine-tuned weights, dan co-location dengan LLM workload. Self-hosted: download dari Hugging Face, jalankan setup.sh, butuh 1 CUDA GPU dan image PyTorch 2.8/CUDA 12.8. Bisa fine-tune di Baseten Training Jobs pakai fine-tuning cookbook. Juga ada di OpenRouter harga sama $0,01/1M input token. Keluarga lengkap: mammoth-1 27B ($0,10/1M) buat akurasi kritis, elephant-1 9B ($0,035/1M) balanced default, joey-1 2B ($0,01/1M) high-volume latency-sensitive. Semua share training data dan API yang sama — switch model cuma ganti 1 baris kode.

Bottom line: joey-1 itu first-line router yang murah meriah dan cepet. Kalau butuh akurasi lebih, escalate ke elephant-1 atau mammoth-1. Bobot MIT di Hugging Face artinya bebas dipakai komersial, dimodif, didistribusin. Buat tim engineering yang bangun sistem routing/klasifikasi volume gede, model ini worth a shot — apalagi kalau udah pakai Baseten platform. Coba benchmark sendiri di use case kamu, soalnya benchmark self-reported kadang beda sama real world.