Jev Minta Bantuan Opus, Dapat Akurasi Gede 4x Lebih Murah

Bayangin kamu punya data pelanggan ribuan baris — email, alamat, nomor telepon, riwayat belanja — tapi semuanya kacau. Satu orang bisa punya tiga akun beda email, pindah alamat dua kali, dan salah ketik nama sendiri. Tugas identity resolution (IDR) ya ngumpulin semua record itu jadi satu identitas asli. Kalau salah merge, dua orang beda jadi satu profil. Kalau terlalu ketat, satu orang jadi dua profil. Keduanya bikin analitik jadi nggak bisa dipercaya.

Masalahnya, ngecek manual itu capek banget. Manusia cuma bisa review sekitar 50 identitas per jam. Buat estimasi error yang akurat, butuh lebih dari 1.000 sampel. Artinya tim butuh minggu cuma buat tau apakah IDR mereka jalan dengan baik. Itu belum hitung biaya orang dan waktu yang terbakar. Untungnya, LLM sekarang bisa niru apa yang manusia lakukan saat inspeksi identitas — tapi dalam skala masif.

Kenapa model frontier mahal nggak cocok buat volume gede

Model kayak GPT-4o atau Claude Opus memang jago reasoning, tapi harganya bikin pusing kalau dipakai buat grading jutaan identitas. Di sinilah Jev dan GPT-6 Luna masuk. Keduanya termasuk decision model — model yang nggak generate teks panjang, tapi cuma keluarin skor kepercayaan 0-1 apakah suatu kondisi benar. Kecepatan dan harganya jauh lebih ramah di kantong dibanding model frontier.

Tim Hightouch bikin benchmark pakai pseudopeople, tool dari Institute for Health Metrics and Evaluation di University of Washington. Tool ini simulate kota fiktif di AS lengkap dengan data warganya dari banyak sumber — plus error realistis kayak typo, alamat lama, email bersama. Dari situ dibangun 1.000 identitas: setengah bersih (satu orang dengan data berantakan), setengah over-merge (dua orang disatukan salah).

Jev dan Luna performa awalnya sudah lumayan

Tanpa prompt tambahan, Jev dan Luna sudah mencapai akurasi 88,8% sampai 97,3%. Lumayan kan untuk model yang murah dan cepet? Tapi tim nggak berhenti di situ. Mereka tambahin contoh error biar model nggak bingung typo sama orang baru, terus jelasin asal data masing-masing record. Hasilnya: semua model naik performa paling banyak dari contoh error. Konteks data cuma nambah maksimal 1 poin buat model frontier, dan malah nggak membantu decision model.

Dugaannya sih decision model nggak benar-benar 'reasoning' kayak model besar, jadi konteks fundamental nggak berguna buat mereka. Setelah prompt final disamakan, threshold confidence diatur ulang: 60% buat Jev, 70% buat Luna — nilai yang maksimalin akurasi masing-masing. Luna ternyata mengejutkan, performanya deket banget sama model frontier dengan biaya pecahan kecil.

Kombinasi Jev + Opus jadi game changer

Nah, di sinilah ide cemerlang muncul: kenapa nggak pakai Jev sebagai 'filter' dulu? Jev jalanin grading cepet dan murah buat semua identitas. Kalau Jev yakin (confidence tinggi), hasilnya dipakai langsung. Kalau Jev ragu (confidence rendah), baru Opus yang dipanggil buat kasus sulit itu saja. Hasilnya? Akurasi mendekati Opus murni, tapi biaya total turun lebih dari 4x. Model kecil jadi gatekeeper, model besar hanya handle edge case.

Tim juga test skenario lebih sulit — hanya kasus tricky yang sengaja dibikin buat menipu model. Termasuk record dengan pola yang mirip tapi beda orang, atau data yang sengaja dibikin ambigu. Di sini frontier models mulai menarik jarak, tapi pendekatan hibrida tetap kompetitif dengan biaya yang jauh lebih masuk akal buat production.

Ambilannya buat tim data kamu

Kalau tim kamu lagi bangun atau maintain IDR, jangan langsung deploy model termahal buat semuanya. Coba arsitektur tiered: model decision murah (Jev, Luna, atau sejenis) handle volume besar, model frontier hanya dipanggil buat kasus yang benar-benar butuh reasoning dalam. Bisa pakai confidence threshold sebagai trigger escalation. Hemat biaya, iterasi lebih cepet, dan maintenance jadi gampang karena bisa grading ratusan ribu identitas dalam detik, bukan minggu.

Pendekatan ini nggak cuma berlaku buat identity resolution. Setiap task classification volume tinggi dengan error rate rendah tapi butuh akurasi tinggi di edge case — moderasi konten, deteksi fraud, routing tiket support — bisa pakai pola sama. Model kecil jadi 'security guard', model besar jadi 'detektif' yang hanya dipanggil kalau ada yang aneh.