Memori AI Punya 'Ekor Panjang'? CTWM Bikin Lebih Hemat Token

Kamu pasti pernah dengar soal agent AI yang bisa jalanin tugas panjang — kayak ngejar target di game, ngurus riset multi-langkah, atau ngontrol robot. Nah, agent-agen ini butuh 'memori eksternal' buat nyimpen konteks dunia biar gak kebingungan di tengah jalan. Masalahnya, sampai sekarang evaluasi memori cuma lihat: tugas berhasil nggak? Token boros berapa? Bentuk pemakaian memori-nya sendiri jarang dibahas, padahal di sinilah letak kunci efisiensi.

Tim peneliti arXiv baru-baru ini ngecek lebih dalam dan nemuin fakta menarik: di bawah batas konteks terbatas dan pengambilan berulang, memori agent cenderung konsentrasi di 'inti' kecil, sementara state-state jarang tinggal di 'ekor panjang' di mana error prediksi numpuk. Pola ini mereka sebut heavy-tailed memory traces. Intinya, memori gak merata — sebagian besar perhatian ke bagian yang sering diakses, sisanya nganggur tapi berbahaya kalau dibutuhkan tiba-tiba.

Kenapa pola ini muncul beda-beda tergantung policy

Peneliti ngetes dua tipe agent: random-walk yang geraknya acak, dan semantic LLM policy yang pake pemahaman bahasa. Hasilnya beda banget. Agent random-walk menghasilkan artefak retrieval yang cocok sama distribusi log-normal — makin ke ekor, frekuensi akses turun pelan tapi konsisten. Tapi agent LLM semantic? Dia malah ngehasilin pola truncated-power-law: inti sangat padat, ekor putus tajam. Artinya, policy cerdas justru bikin ketidakseimbangan memori lebih ekstrem, soalnya dia 'paham' mana yang penting dan abaikan sisanya.

CTWM: Solusi rank-based dengan eksponen tau

Dari audit ekor tadi, lahir Core-Tail World Model (CTWM). Konsepnya simpel tapi powerful: urutkan entri memori berdasarkan frekuensi akses, terus alokasikan budget prompt pakai satu eksponen τ (tau). Inti (core) dikasih porsi penuh, ekor (tail) dirangkum jadi representasi ringkas. Gak perlu aturan kompleks, cuma satu parameter τ yang ngontrol seberapa curam kurva alokasinya. Semakin besar τ, semakin banyak token buat inti, semakin sedikit buat ekor.

Hasil uji coba: hemat token hingga 24%

Di Synthetic Graph World, CTWM pertahankan cakupan state dan transisi penuh, potong token 5,9%, dan turunin error prediksi separuh bawah ekor 13,6% dibanding baseline graph-memory. Di ALFWorld, penghematan token konsisten. Yang paling ngejutin: LongMemEval — benchmark memori jangka panjang — CTWM hemat 24,48% token dengan akurasi agregat setara. Berarti model ini gak cuma hemat, tapi juga gak nyakitin performa. Ekor yang dirangkum ternyata cukup buat nangkep info kritis tanpa boros token.

Artinya apa buat kamu yang bangun agent AI

Kalau kamu lagi desain agent long-horizon, ini sinyal penting: jangan cuma optimize task success atau token count. Perhatikan bentuk distribusi memori — apakah heavy-tailed? Kalau iya, CTWM bisa jadi kontroler praktis. Cukup tambahin ranker frekuensi, set τ, dan rangkum ekor. Simpel, skalabel, dan udah terbukti di tiga benchmark beda domain. Masa depan world model agent mungkin gak di ukuran gede, tapi di seberapa pintar dia ngelola 'ekor' memori-nya.