LLM Bisa Salah Diam-Diam? Pakai Model Kecil Buat Ngawasi Dia

Kamu pernah nggak sih ngasih tugas buat AI agent, dia bilang "oke sip" trus ternyata dia ngirim query database yang salah, nge-call API yang nggak ada, atau nulis kode yang error tapi dia yakin bener? Itu namanya silent failure — kesalahan yang diam-diam, kelihatan baru pas aksi udah jalan dan bikin kerusakan. Masalahnya, model-model frontier kayak GPT-4o atau Claude 3.5 Sonya nggak mau kasih tau probabilitas token mereka lewat API. Kita cuma dapet jawaban akhir, nggak dapet "seberapa yakin" model itu di tiap langkah. Dan kalau kamu minta dia resampling (generate ulang beberapa kali), hasilnya sering sama aja soalnya model frontier itu highly repetitive — dia ngulang jawaban yang sama berulang kali.

Nah, paper baru dari arXiv (2610.03894v1) ngasih solusi yang cukup jernih: jalanin model open-weight kecil — mereka sebut "surrogate" — paralel sama agent utama. Surrogate ini baca context yang sama, schema tool yang sama, dan proposed action yang sama. Trus dia scoring pake log-probabilities sendiri lewat beberapa cara: teacher forcing dan request-PMI buat ngecek likelihood tiap argument value, discriminative verdict buat nge-judge call secara keseluruhan, dan tool-choice competition buat bandingin function yang dipilih sama saudara-saudaranya. Prinsipnya sederhana: generative likelihood cocok buat ngeh argument value yang salah, sedangkan verdict cocok buat ngeh call yang secara holistik salah. Kalau tipe error-nya nggak diketahui, ensemble jadi default paling aman.

Kenapa cara ini beda sama self-consistency

Self-consistency itu klasik: generate K kali, ambil yang paling sering muncul. Tapi paper ini tunjukin kalau surrogate model bisa ngalahin self-consistency dengan margin +0.14 sampai +0.19 AUROC pada actor yang near-deterministic — dan biayanya cuma 1/K dari self-consistency. Artinya, kamu nggak butuh generate 10-20 kali buat dapet confidence yang andal. Cukup satu prefill pass dari model kecil yang murah, kamu dapet sinyal confidence yang jauh lebih kaya informasi. Model surrogate yang dipakai peneliti cuma sekitar 7B-8B parameter, jadi biaya compute-nya negilible dibandingin jalanin model frontier yang mahal.

Hasilnya cukup mengejutkan: pada tugas coding yang sulit, surrogate mencapai AUROC 0.825 sedangkan stated confidence actor utama cuma 0.598 (mendekati random guess). Generative readouts (teacher forcing + request-PMI) ngalahin baseline hingga +0.28 AUROC across tiga actor berbeda. Ini artinya sinyal dari model kecil ini benar-benar nangkep sesuatu yang model besar nggak eksposkan — atau mungkin memang nggak "tau" di level token probabilities yang tersembunyi.

Dua mode deployment: gate real-time dan confidence feedback

Peneliti gak cuma berhenti di metrik offline. Mereka test dua cara pakai di dunia nyata. Pertama, real-time gate: surrogate scoring tiap tool call, yang paling tidak trusted (misal bottom 50%) di-escalate buat review manusia atau sistem keamanan. Hasilnya? Accepted-action accuracy naik +0.05 sampai +0.30 pada coverage 50%. Artinya, setengah aksi yang paling berisiko di-tangani khusus, dan akurasi keseluruhan naik signifikan. Kedua, confidence feedback: tool result dikembalikan ke agent bareng skor confidence-nya. Agent trus adapt langkah berikutnya berdasarkan skor itu. Pada live-execution benchmark, task success naik +0.119 dan +0.137 (p <= 1e-4). Bahkan lawan random-value control (di mana step errors diam-diam), masih naik +0.078 (p = 0.003).

Yang bikin cara ini powerful: training-free, nggak butuh akses internals model utama (black-box friendly), dan cost cuma satu prefill pass. Bisa dipasang di atas API apapun — OpenAI, Anthropic, Google, whatever. Surrogate model bisa di-host sendiri, jadi data sensitif nggak keluar ke API provider. Untuk tim yang bangun AI agent production, ini game changer: kamu dapet visibility ke "kepercayaan" model tanpa harus minta akses khusus ke lab besar. Dan karena surrogate itu open-weight, kamu bisa fine-tune atau swap model surrogate kapan aja kalau butuh performa lebih baik di domain spesifik.

One principle says which to trust: a generative likelihood localizes wrong argument values, while the verdict catches holistically wrong calls.

Buat kamu yang lagi bangun atau maintain AI agent production, takeaway praktisnya: jangan percaya cuma pada "confidence" yang keluar dari API frontier model. Siapin satu model open-weight kecil (Llama 3.1 8B, Qwen 2.5 7B, atau sejenisnya) jalanin paralel sebagai auditor. Log-probabilities dari model kecil ini ternyata kaya informasi buat ngeh hallucination tool call sebelum dieksekusi. Biayanya murah, latency tambahan minimal (cuma satu forward pass), dan kamu dapet safety net yang bisa di-customize. Mulai dari gating review manusia sampai feedback loop buat agent self-correct — semuanya jadi possible tanpa tunggu lab besar buka API internal mereka.