Harbor Mau Bikin Standar Ujian AI Agent: 80 Benchmark, Cuma yang Lolos 30%

Kalau kamu pernah nyoba ngecek kemampuan AI agent di berbagai benchmark, pasti ngerasain sendiri susahnya. Tiap benchmark biasanya butuh environment dan integrasi yang beda-beda, jadi riset skala gede tuh makan waktu dan tenaga banget. Makanya tim di balik Harbor ngerilis sesuatu yang bisa ngebantu: infrastruktur evaluasi terpadu buat agentic benchmarks, jadi kamu tinggal colok agent-mu dan langsung tes.

Proyek ini bagi jadi tiga kontribusi gede. Yang pertama, mereka bikin benchmark adapters yang nge-port lebih dari 80 benchmark biar bisa nge-evaluasi agent apa pun secara seragam. Adapter-nya udah lewat code review ketat plus parity experiments biar hasilnya bisa dibandingin antar-agent dengan fair. Jadi kamu nggak perlu lagi pusing setup macem-macem buat tiap benchmark.

8 model diuji, hasilnya bikin mikir

Kontribusi kedua mereka lebih praktis: mereka ngelakuin evaluasi gede-gedean pakai 8 model yang ngecover berbagai capability tiers, dites di 54 benchmark. Tiap model jalanin dua setup — pakai Terminus-2 dan salah satu dari 3 native harness — biar analisanya bisa lebih dalem soal capability dan failure modes-nya. Ini level komparabilitas yang biasanya nggak kejadian di eksperimen rumahan.

Buat kamu yang lagi bangun atau riset AI agent, data dari sini bisa banget dipake buat ngerti di mana model-model top lemah. Soalnya bukan cuma soal ranking, tapi juga soal failure pattern yang muncul konsisten. Artinya ada celah nyata di capability yang belum keurus sama developer model sebesar apa pun.

Harbor-Index: 82 tugas yang sengaja dipilih biar bikin agent frustasi

Nah kontribusi ketiga ini yang paling menarik: Harbor-Index, satu setujian 82 tugas yang dikurasi susah, beragam, dan berkualitas tinggi dari 29 benchmark. Prosesnya ketat — lewat difficulty filtering, audit AI, audit manusia, sampai audit-and-fix loop biar kualitasnya konsisten. Tujuannya simpel tapi ambisius: kasih setujian yang masih challenging tapi affordable buat dijalanin siapa pun.

Dan angka-angka yang muncul beneran bikin geleng-geleng kepala. Nggak ada satu pun konfigurasi model-harness yang tembus 30% pass rate. Yang paling kuat — GPT-5.5 pakai Codex — cuma sampai 28,0% doang. Artinya kalau benchmark ini dipake, perbedaan antara model average dan model top jadi jauh lebih jelas. Cocok banget buat kamu yang mau bedain marketing hype vs capability beneran.

Semua dibuka gratis, dampaknya buat komunitas

Yang bikin proyek ini penting buat dipantau: semua artifak — adapters, hasil evaluasi, analisis mendalam, dan Harbor-Index itu sendiri — dirilis open-source. Jadi peneliti indie, startup kecil, atau bahkan tim corporate bisa langsung manfaatin tanpa harus bikin ulang infrastruktur dari nol. Ini basically ngedemokratisasi evaluasi agentic yang biasanya cuma bisa dilakukan lab-lab besar.

Buat ngambil takeaway praktisnya: kalau kamu lagi bangun agent, pake Harbor-Index sebagai stress test minimum. Kalau agent-mu bisa konsisten di atas 30% di sini, kamu udah di depan banyak kompetitor. Kalau belum, ya tinggal lihat di bagian mana failure-nya dominan dan perbaiki dari situ. Standar-nya udah ada, tinggal mau dipake atau nggak.