Monitor LLM buat Deteksi OOD: Cara Ngincar Kejadian Tak Terduga?

Kamu pernah pikir kenapa kadang AI besar bisa ngeluarkan jawaban yang aneh bahkan bahaya? Soalnya itu sering terjadi ketika model dapet input yang jauh dari data latihnya, yang disebut out-of-distribution (OOD). Penelitian baru bikin benchmark bernama MOOD buat ngukur seberapa baik monitor LLM bisa tangkap kegagalan alignment karena OOD.

Dalam MOOD, para peneliti ngisi data latih terbatas buat melatih monitor sendiri, lalu mereka tes dengan tujuh set data yang berisi berbagai macam kegagalan alignment yang benar-benar di luar distribusi latih. Cara ini biar bisa lihat sebenarnya monitor bisa deteksi OOD atau justru salah tanggap.

Hasilnya menunjukkan bahwa guard model biasa—yang berfungsi sebagai safety classifier—sering gagal ketika menghadapi situasi OOD. Ingat, guard model itu cuma dilatih pada data aman yang umum, jadi pas ada aneh-aneh dia nggak paham.

Untuk memperbaiki itu, tim mencoba gabungkan guard model dengan detektor OOD. Mereka uji empat jenis detektor OOD berbeda, mulai dari yang berbasis jarak Mahalanobis sampai yang pakai perplexity. Kombinasi terbaik ternyata guard model + Mahalanobis distance + perplexity-based detector.

Dengan kombinasi itu, recall naik dari 39% menjadi 45%. Ya, angka masih kecil tapi peningkatan signifikan menunjukkan bahwa detektor OOD bisa bantu guard model ngomong “hey, ini aneh” lebih baik.

Penelitian juga lihat tren skalanya. Semakin besar model monitor (lebih banyak parameter), semakin baik hasilnya—tapi justru menambahkan detektor OOD pada model kecil bisa memberikan peningkatan recall yang setara dengan menggunakan guard model yang 20 kali lebih besar.

Artinya, kamu nggak perlu terus menumpuk parameter model saja untuk menangkap OOD. Cukup sisipkan detektor OOD yang tepat, dan kamu dapat hasil yang lebih efisien serta hemat komputasi.

Penulis menyarankan bahwa deteksi OOD harus jadi komponen inti dalam pipeline monitoring LLM, bukan hanya tambahan. Tanpa itu, risiko kegagalan alignment di situasi tak terduga tetap tinggi.

Benchmark MOOD sendiri sekarang bisa dipakai oleh komunitas AI buat menguji dan membandingkan berbagai strategi monitoring. Jadi kalau kamu lagi ngembang sistem keamanan AI, ini bisa jadi acuan awal.

Secara keseluruhan, paper ini membuka jalan buat penelitian lanjut tentang bagaimana membuat model AI lebih tahan terhadap input yang tidak terduga, sambil tetap menjaga keamanan dan alignment. Ini penting mengingat semakin banyak aplikasi LLM yang dipakai dalam kehidupan sehari-hari.