TokenEconomizer: Plugin Microsoft Bikin Coding Agent Hemat 30 Persen?

Kamu yang sering pakai AI coding agent kayak Claude Code atau GitHub Copilot CLI pasti ngerasain tagihan token yang bikin sakit dompet. Nah, Microsoft Research bareng UC Berkeley baru-baru ini drop TokenEconomizer — plugin open-source yang claim bisa potong biaya token hingga 30,9% di benchmark SWE-Bench. Yang bikin beda, tool ini nggak ngubah model weights atau kode agent sama sekali. Dia cuma nempel di luar kayak controller, belajar dari sesi-sesi sebelumnya di repo yang sama, trus nge-set kebijakan biar sesi berikutnya nggak boros.

Peneliti profiling 60 task SWE-Bench di 6 repo pakai Claude Code + Opus 4.8, dan nemu tiga sumber pemborosan utama. Pertama, repeated discovery — 30% tool call cuma ngulang aksi yang udah dilakukan task sebelumnya. Kedua, unused tools — 23 tool schema di-load setiap turn, tapi 16 di antaranya nggak pernah dipanggil, cuma 3 yang cover 98% pemakaian. Ketiga, failure loops — 17% task yang gagal justru makan 32% total spend. TokenEconomizer ngatasi ketiganya lewat tiga mekanisme yang bisa diaktifin atau dimatiin sesuai kebutuhan.

Tiga mekanisme yang bikin hemat

Mekanisme pertama namanya Micro-skills. LLM proposer mengubah trace digest jadi fakta satu baris — misalnya command test yang bener buat repo tersebut. Fakta ini punya regex detector yang ngecek trace berikutnya tanpa panggil model lagi. Fakta baru masuk ke prompt setelah 3 konfirmasi di task dengan file edit yang nggak tumpang tindih, dan need rate harus minimal 0,4. Kalau ada kontradiksi, itu dihitung 5 konfirmasi, jadi fakta salah cepat dibuang. Mekanisme kedua adalah Tool pruning. Shell, read, write, edit tools selalu dipertahankan. Tool lain di-mask setelah 3 task berurutan nggak dipakai, atau kalau LLM judge bilang nggak relevan. Katalog lengkap balik setiap 5 task buat re-audit. Di Django dengan Claude Code, request pertama task 2 turun dari 43.351 jadi 16.295 prompt tokens — potongan lebih dari 60%.

Mekanisme ketiga Failure-loop intervention. Controller belajar turn budget: 1,25 kali persentil ke-90 panjang run yang sukses. Aturan murah nge-flag kegagalan berulang atau error padat. LLM judge lalu putusin apakah agent stuck, minimal confidence 0,7. Agent yang stuck dapet 1 redirect, kalau loop berulang lagi baru dihentikan. Kombinasi ketiga mekanisme ini bikin TokenEconomizer hemat di semua 30 sel repository-setting yang diuji — beda sama RTK dan RepoMap yang justru naik biaya di beberapa sel.

Hasil nyata di benchmark dan dunia nyata

Di SWE-Bench 277 task, 6 repo, 5 setting agent-model, TokenEconomizer lower mean cost 18,4% sampai 30,9%. Terbaik di Claude Code + Opus 4.8 dengan penghematan 30,9% (naik jadi 33,2% kalau dikombin sama RTK). Terendah di ReposVul audit cuma 6,4% sampai 9,3% karena run-nya pendek jadi nggak banyak yang bisa dipotong. Pass@1 naik di 4 dari 5 setting, tapi turun 1,0 poin di Opus 4.8. Tool pruning sendiri kontribusi paling gede: 13,2% sampai 17,7%. Micro-skills 11,8% sampai 14,3%, loop guard 5,4% sampai 7,1%. Hasil juga konsisten di luar SWE-Bench: Web-Bench hemat 16,0% sampai 21,2%, CredData 16,5% sampai 19,6%.

Bandingin sama tool lain kayak RTK, Serena, dan Aider RepoMap — TokenEconomizer yang paling konsisten. RTK naik biaya di 12 dari 30 sel, RepoMap di 15 sel. TokenEconomizer? Nol sel yang naik biaya. Lisensinya Apache 2.0, artinya bebas dipakai komersial. Install-nya gampang: butuh Python 3.10+, clone repo, add sebagai marketplace, trus jalankan `claude plugin install tokeneconomizer@tokeneconomizer` buat Claude Code. Data belajar nyimpen lokal di `~/.tokeneconomizer`. Tool pruning dan loop guard on by default, micro-skills off by default soalnya proposer nambah panggilan model.

• Tool pruning = penghematan terbesar (13-17%), aktif default
• Micro-skills = belajar fakta repo, off default biar nggak tambah biaya model
• Loop guard = hentikan agent stuck, aktif default
• Data belajar simpan lokal, nggak keluar ke cloud
• Support: Claude Code, Codex, Copilot CLI, Pi

Buat kamu yang tim development-nya sering pakai coding agent skala besar, TokenEconomizer ini worth a try. Apalagi kalau repo-nya stabil dan task-nya berulang — semakin lama dipakai, semakin hemat. Cuma ingat, micro-skills nambah sedikit overhead model call, jadi kalau budget ketat mungkin mending aktifin tool pruning sama loop guard dulu. Project ini masih baru, jadi pantau GitHub-nya buat update terbaru.