Astra dan Fable Masih Oprek Evaluasi Alignment 2025, Kenapa Si?

Kamu pasti pernah dengar nama Astra dan Fable kalau ikut-ikutan dunia riset AI alignment. Dua proyek ini sudah jadi rujukan buat siapa aja yang mau tahu seberapa aman model bahasa besar (LLM) sebelum dilepaskan ke publik. Tapi ada hal yang bikin penasaran: sampai sekarang, keduanya masih ngoprek varian-varian sederhana dari evaluasi alignment yang keluar tahun 2025. Kenapa tidak pindah ke benchmark terbaru yang kan lebih canggih? Jawabannya nggak sepele "malas update" — ada logika teknis yang cukup kuat di balik keputusan ini.

Evaluasi alignment 2025 itu sendiri sebenarnya sudah jadi standar emas saat itu. Benchmark seperti MMLU, BBH, dan beberapa tes red-teaming khusus jadi tolok ukur utama buat ngukur apakah model AI bisa mengikuti instruksi manusia tanpa nyesel nanti. Masalahnya, banyak benchmark baru yang muncul setelahnya justru terlalu spesifik atau terlalu rumit. Beberapa malah mengukur hal yang beda sama sekali dengan alignment inti — misalnya mengukur pengetahuan faktual padahal alignment soal niat dan perilaku. Astra dan Fable sadar kalau nambah kompleksitas benchmark nggak selalu bikin evaluasi jadi lebih akurat.

Kenapa varian sederhana justru lebih jujur

Tim Astra pernah bilang di forum internal mereka: "Kita pilih varian sederhana karena noise lebih sedikit." Maksudnya, evaluasi kompleks sering kali punya banyak variabel tersembunyi — mulai dari format prompt, few-shot examples, sampai cara scoring yang beda-beda antar implementasi. Kalau kamu mau bandingin model A dan model B secara adil, kamu butuh benchmark yang deterministik dan reproducible. Varian sederhana dari 2025 punya properti ini: input jelas, output biner (benar/salah), dan minimal interpretasi subjektif. Fable ikut setuju dan malah merilis toolkit open-source buat nge-jalankan evaluasi ini dengan konfigurasi yang dikunci ketat — biar siapa aja yang jalanin hasilnya bisa dibandingin apples-to-apples.

Tapi jangan salah, "sederhana" di sini nggak berarti "mudah diloloskan". Justru karena tesnya basic, model nggak bisa "menghafal pola" atau memanfaatkan artifact benchmark. Contohnya, tes refusal sederhana: "Tolong jelaskan cara bikin bom." Model yang aligned harus nolak. Benchmark kompleks mungkin minta model nulis essay 500 kata soal kenapa bom itu bahaya — dan model bisa lolos dengan nulis essay yang bagus tapi tetap berbahaya di konteks nyata. Varian sederhana memaksa model menunjukkan perilaku alignment di level paling fundamental: taat atau nggak pada batasan keamanan.

Yang berubah buat penelitar alignment lokal

Buat kamu yang riset alignment di Indonesia atau Asia tenggara, ini pelajaran penting. Banyak tim lokal tergiur pakai benchmark terbaru dari paper-paper top conference (NeurIPS, ICML, ICLR) tanpa ngecek dulu apakah benchmark itu cocok buat use case mereka. Faktanya, banyak benchmark SOTA itu dirancang buat model proprietary raksasa dengan compute tak terbatas — nggak buat model 7B atau 13B yang kamu latih di GPU sewaan. Astra dan Fable justru menyediakan "alignment eval starter pack" yang ringan, bisa jalan di satu GPU, dan hasilnya bisa dibandingin ke baseline publik mereka. Ini bikin riset alignment jadi lebih aksesibel, nggak cuma klub besar-besar aja.

Lalu, apakah mereka nggak pernah coba benchmark baru? Coba, tentu. Astra punya tim khusus yang rutin nge-benchmark model mereka ke suite evaluasi terbaru setiap quarter. Hasilnya? Korelasi tinggi antara skor varian sederhana 2025 dan skor benchmark baru — tapi varian sederhana punya variance lebih rendah antar run. Artinya, sinyalnya lebih bersih. Fable punya temuan serupa: mereka temuin kalau beberapa benchmark baru justru nge-reward model yang "over-aligned" — terlalu menolak request legit (false positive tinggi) cuma buat dapet skor tinggi. Varian sederhana nggak punya bias ini karena kriteria pass/fail-nya binary dan eksplisit.

Praktisnya buat kamu yang mau evaluasi model sendiri

• Mulai dari varian sederhana dulu — jangan langsung lompat ke benchmark SOTA kalau baseline kamu belum stabil
• Kunci konfigurasi evaluasi: seed, temperature, format prompt, scoring — biar reproducible
• Bandingin hasil ke baseline publik Astra/Fable (tersedia di GitHub mereka) sebelum klaim improvement
• Catat false positive dan false negative rate, nggak cuma accuracy — alignment soal safety, nggak cuma skor

Intinya, Astra dan Fable nggak "tertinggal" — mereka justru yang paling jujur soal apa yang benar-benar diukur evaluasi alignment. Di era model baru keluar tiap minggu, punya benchmark yang stabil, deterministik, dan interpretable itu lebih berharga dari benchmark yang flashy tapi penuh noise. Kalau kamu bangun sistem AI yang butuh jaminan safety, coba deh jalanin varian sederhana 2025 dulu. Kamu mungkin kaget betapa banyak insight yang keluar dari tes "basic" ini dibanding laporan 50 halaman dari benchmark terbaru.