Agent AI Butuh 'Kesehatan Tools' Sebelum Bertindak, Ini Solusinya

Kamu pasti pernah ngalamin: agent AI disuruh jalanin tugas, dia pilih tool yang kelihatannya cocok di kertas, tapi pas dieksekusi — error, timeout, atau bahkan nge-crash sistem. Masalahnya bukan di pemahaman agent soal fungsi tool, tapi dia nggak tau kondisi tool *saat itu juga*. Apakah tool itu sehat? Servernya lagi down? Rate limit udah kelewat? Peneliti dari arXiv nyebut ini "operational blindness" — buta operasional. Tool description cuma bilang *apa* yang bisa dilakuin tool, tapi nggak ngasih tau *apakah* tool itu layak dipakai sekarang. Execution harness sebenernya punya info ini lewat monitor, trace, dan log kegagalan terbaru, tapi model yang milih aksi berikutnya nggak dapet akses ke data itu.

Nah, di paper terbaru ini (arXiv:2611.05391v1), tim peneliti memperkenalkan konsep **Agent Harness Awareness**. Desainnya simpel tapi powerful: sebelum agent ambil keputusan konsekuensial, host kasih *snapshot* state terverifikasi yang fresh — kecil, ringkas, tapi akurat. Host tetap pegang otoritas penuh soal pengukuran, enforcement, evaluasi, dan final dispatch. Jadi agent cuma dapet "kartu kesehatan" tool sebelum bertindak, bukan akses penuh ke sistem monitoring. Pendekatan trust-separated ini bikin arsitektur tetap aman tapi agent jadi pintar milih tool.

Benchmark ToolRoute Buktikan Efektivitasnya

Buat ngetes konsep ini, peneliti bikin **ToolRoute** — benchmark isolasi terkontrol yang ngepet task dan kandidat semantik tetap, tapi variasiin info operasional yang tersedia buat model. Dalam ablasi 216 keputusan di tiga model besar (GPT-5.6 Sol, Claude Sonnet 5, Gemini 3.7 Flash), hasilnya mengejutkan. Verified tool-health state ngereduksi *mean observable policy regret* sebesar **96,9%** — dari 4.252 ms turun jadi cuma 131 ms dibanding kontrol netral yang bentuknya sama. Single-dispatch completion rate melonjak dari **69,4% jadi 95,8%**. Artinya, agent hampir tidak pernah salah pilih tool kalau dapet info kesehatan terverifikasi dulu.

Tapi peneliti nggak berhenti di simulasi. Di replikasi end-to-end terpisah dengan 27 keputusan, mereka pakai eksekusi TCP/HTTP live lokal, OpenTelemetry client spans, dan Toxiproxy buat suntikin fault secara sengaja. Hasilnya? Verified state ngereduksi mean regret dari **8.956 ms jadi 0 ms** — nol biaya operasional berlebih yang teramati. Dan yang paling keren: live action selesai di **9 dari 9 kasus model-by-fault** versus cuma 5 dari 9 buat kontrol netral. Artinya, kalau agent dapet snapshot kesehatan tool yang bener, dia bisa handle fault real-time dengan sempurna.

Arsitektur Trust-Separated: Aman Tanpa Kompromi

Kunci desain ini ada di pemisahan kepercayaan (trust separation). Host nggak serahkan kontrol penuh ke agent. Host cuma *supply* snapshot kecil yang fresh dan terverifikasi — misalnya: "tool HTTP endpoint ini sehat, latency 45ms, 0 error 5 menit terakhir" — sebelum agent milih aksi. Setelah itu, host tetap yang nge-enforce, ngevaluasi, dan nge-dispatch final. Agent cuma dapet konteks operasional, bukan kunci kerajaannya. Ini beda banget sama pendekatan "beri agent akses monitoring penuh" yang berisiko keamanan dan overload konteks.

Paper ini nge-establish instance **tools-and-network** dari Agent Harness Awareness. Artinya, buat domain tool dan jaringan, telemetry host yang dipilih *materially improves pre-dispatch operational choice* — nyata banget memperbaiki pilihan operasional sebelum dispatch. Peneliti juga sebutin ekstensi empiris terbuka: runtime state, hardware pressure, economics, retry-aware recovery, dan heterogeneous selection. Semua itu bisa dibangun di atas arsitektur yang sama. Bayangin agent yang nggak cuma tau tool mana yang sehat, tapi juga yang paling murah, paling cepat, atau yang punya retry policy terbaik — semua dari snapshot yang sama.

• Snapshot kesehatan tool fresh & terverifikasi sebelum aksi konsekuensial
• Host retain otoritas penuh: measurement, enforcement, evaluation, dispatch
• Regret turun 96,9% (4.252ms → 131ms) di simulasi 216 keputusan
• Completion rate naik 69,4% → 95,8% di tiga model SOTA
• Live test: regret 8.956ms → 0ms, success 9/9 vs 5/9 fault cases