OpenDiscoveryTrace Buka Rahasia Cara AI Berpikir, Bukan Cuma Hasilnya

Bayangin kamu cuma lihat nilai akhir ujian tanpa pernah bisa lihat cara si siswa menjawab soalnya. Itulah selama ini jadi masalah besar di evaluasi AI scientist — benchmark cuma peduli output final: kode, hipotesis, atau paper. Proses reasoning-nya? Dibuang. Akibatnya kita nggak bisa audit metodologi ilmiah, diagnosa kenapa gagal, atau bedain mana reasoning sistematis mana cuma untung-untungan.

Nah, tim peneliti baru drop OpenDiscoveryTrace, dataset publik pertama yang nge-capture 558 trajectory lengkap AI scientific agent. Setiap trajectory catet 9 field per step: pemikiran (thoughts), pemanggilan tool, observasi, error, trigger revisi, sampai confidence level yang dilaporkan sendiri model. Cakupannya luas: 124 tugas ilmiah di drug discovery, materials science, genomics, dan analisis literatur ilmiah.

Siapa Saja Model yang Di-Test?

Dataset ini melibatkan tujuh model besar. Tiga frontier model — GPT-5.4, Claude Opus 4.6, dan Gemini 3.1 Pro — masing-masing 124 trajectory, seimbang di semua domain dan tingkat kesulitan. Empat model open-weight — Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini, dan Qwen2.5-1.5B — masing-masing 30 trajectory. Plus 60 trajectory varian live-retrieval buat nge-test kemampuan akses info real-time.

Semua data, trace schema, agent harness, dan definisi benchmark tersedia di bawah lisensi CC BY 4.0. Artinya siapa aja bebas pakai, modifikasi, dan distribusikan — selama nyertakan kredit. Ini buka pintu lebar buat riset evaluasi level-proses, auditing agent ilmiah, dan tata kelola AI.

Claude Error 30 Kali Lebih Banyak, Tapi Tipe-nya Beda

Analisis pilot di 363 trajectory yang di-judge LLM ngasih temuan mengejutkan. Ketiga frontier model punya success rate yang mirip — 84 sampai 89 persen. Tapi lihat error rate-nya: Claude Opus 4.6 menghasilkan error 2.5 per trajectory, sedangkan GPT-5.4 cuma 0.08. Itu beda 30 kali lipat, dengan signifikansi statistik p < 0.0001 dan Cliff's delta 0.613 (effect size besar).

Lebih menarik lagi, profil error-nya beda karakter. Claude 66,7 persen error-nya karena tool misuse — salah pilih tool, salah parameter, atau panggil tool yang nggak perlu. GPT-5.4? 83,6 persen error-nya reasoning error — logika lompat, asumsi salah, atau kesimpulan yang nggak didukung bukti. Gemini 3.1 Pro ada di tengah-tengah tapi cenderung lebih mirip GPT dari sisi tipe error.

Kenapa Ini Bikin Perbedaan Buat Pengembangan AI?

Kalo kamu cuma lihat success rate, kamu bakal bilang ketiganya 'setara'. Tapi kalo lihat proses, kelihatan jelas: Claude butuh perbaikan di tool use dan planning, GPT-5.4 butuh perbaikan di reasoning chain dan verifikasi internal. Ini insight yang nggak akan kelihatan kalo evaluasi cuma output-only. Bagi developer, ini berarti debugging jadi lebih sasaran — nggak perlu tebak-tebakan area mana yang bermasalah.

Tim juga nge-definisiin lima benchmark task dengan baseline dari logistic regression, random forests, LSTMs, dan Transformer models. Baseline ini jadi titik tolok buat riset mendatang: apakah model baru bisa prediksi keberhasilan trajectory dari trace awal? Bisa deteksi error sebelum terjadi? Bisa klasifikasi tipe reasoning? Semua pertanyaan ini sekarang bisa diuji secara sistematis.

• Trace 9-field per step: thoughts, tool calls, observations, errors, revision triggers, confidence
• 124 tugas di 4 domain: drug discovery, materials science, genomics, literature analysis
• 7 model: 3 frontier + 4 open-weight + varian live-retrieval
• 5 benchmark task dengan baseline ML klasik sampai Transformer
• Lisensi CC BY 4.0 — bebas pakai untuk riset dan komersial

Buat kamu yang bikin atau evaluasi AI agent, OpenDiscoveryTrace ini goldmine. Nggak cuma dataset, tapi framework evaluasi yang ngajarin kita melihat 'cara berpikir' AI, bukan cuma 'apa yang dihasilkan'. Next step menarik: apakah trace ini bisa dipakai buat train model yang reasoning-nya lebih robust dari awal? Atau buat bikin guardrail real-time yang ngehentikan error sebelum merusak hasil akhir? Waktunya ngecek dataset-nya di GitHub dan mulai eksperimen.