Tingkatkan Kemampuan Model AI dengan Closed-Loop Ini?

Kamu pernah denger tentang closed-loop dalam pengembangan model AI? Jadi gini, kemampuan model itu penting banget, tapi sayangnya kita nggak bisa lihat langsung. Data yang kita kasih ke model itu yang ngebentuk kemampuan model, sedangkan evaluasi baru bisa nunjukin hasilnya setelah model dilatih. Nah, ini bikin kita harus pinter-pinter mengolah data dan evaluasi supaya bisa dapetin hasil yang maksimal.

Biasanya, ketika ada masalah, kita langsung nyari tahu apa yang salah. Misalnya, ketika model nggak perform dengan baik, kita harus cari tahu bagian mana yang perlu diperbaiki. Di sinilah closed-loop berperan penting. Dengan menggunakan apa yang disebut sebagai 'capability slice', kita bisa fokus ke sampel evaluasi yang punya kondisi latar belakang sama, jenis tugas yang sama, dan batasan output yang jelas. Ini bikin kita lebih mudah menemukan kelemahan spesifik tanpa harus bingung sama data yang terlalu banyak.

Satu contoh menarik dari penerapan closed-loop ini adalah saat kita melakukan pre-training pada model. Misalnya, ada kasus di mana pre-training bikin performa model turun drastis, sampai 46,82%. Tapi setelah diteliti lebih lanjut, masalahnya ternyata cuma karena satu loss yang terlewat. Dengan memperbaikinya, performa model bisa kembali lebih baik dari sebelumnya, tanpa harus ganti data. Keren, kan?

Di sisi lain, ada juga kasus di mana kita bisa mengidentifikasi kelemahan dalam kemampuan model, khususnya dalam matematika. Dengan memecah kelemahan ini menjadi kombinasi spesifik yang gagal, kita bisa bikin prosedur sampling yang lebih tepat. Hasilnya? Tingkat kelulusan model bisa naik dari 6,67% menjadi 26,67%! Ini menunjukkan bahwa dengan pendekatan yang tepat, kita bisa mengubah kelemahan jadi kekuatan.

Intinya, closed-loop ini bikin kita bisa lebih sistematis dalam meningkatkan kemampuan model AI. Kita nggak cuma mengandalkan intuisi, tapi bisa menggunakan metode yang teruji dan bisa dipertanggungjawabkan. Dengan cara ini, kita bisa terus belajar dari kesalahan dan memperbaiki performa model secara berkelanjutan.