Google Luncurkan Agile Deliberation: AI Bantu Tentukan Batas Konsep Abstrak

Google Research baru saja ngeluarin framework baru bernama Agile Deliberation, dan ini beda banget sama tool klasifikasi gambar biasa. Kalau kebanyakan tool asumsi user udah tau batas konsepnya — misalnya apa yang dianggap 'makanan sehat' atau 'artwork yang menginspirasi' — framework ini justru mulai dari asumsi user *belum* tau batasnya. Jadi tugasnya bukan cuma klasifikasi, tapi bantu user *nemuin* batas itu lewat proses deliberasi yang terstruktur. Framework ini jalan di atas Gemini 2.5 Pro dan Gemini 2.5 Flash lewat API, tanpa butuh fine-tuning, dan bisa dijalankan langsung dari Jupyter atau Colab notebook.

Secara teknis, retrieval-nya pakai CLIP embeddings dan FAISS index yang bisa jalan di CPU atau GPU. Demo index-nya mulai dari sekitar 260 MB, tapi kalau mau full 100 shards butuh sekitar 13 GB. Yang bikin menarik, evaluasinya bukan pakai benchmark statis karena konsep subjektif memang gak ada ground truth yang tetap. Tim Google jalanin 18 sesi live, masing-masing sekitar 90 menit, dengan 9 partisipan yang gak punya pengalaman moderasi profesional. Setiap orang dapet 2 sesi: satu pakai Agile Deliberation, satu pakai manual deliberation. Dua konsep yang diuji: 'paid to play' clickbait dan 'healthy food'.

Naik 10.5 Poin F1 Tapi Recall Turun

Hasilnya cukup menggebu-gebu: rata-rata F1 naik 10.5 poin dari zero-shot Gemini 2.5 Flash. Buat konsep 'paid to play', F1 melonjak dari 0.48 jadi 0.59 — precision naik 22 poin (0.35 ke 0.57). Tapi ada trade-off keras: recall *turun* 17 poin (0.80 ke 0.63). Buat 'healthy food', F1 naik dari 0.48 ke 0.58, tapi recall drop 15 poin. Artinya classifier jadi lebih pilih-pilih (precision tinggi), tapi kelewatan banyak kasus yang seharusnya positif. Tim Google sendiri catet ini di paper CVPR 2026 mereka, dan kode sudah open source di GitHub dengan lisensi Apache 2.0.

Cara Kerja: Dua Tahap, Dari Scoping Hingga Iterasi

Prosesnya dibagi dua stage besar. Stage 1 namanya Concept Scoping: Gemini 2.5 Pro pecah konsep jadi maksimal 3 unit concepts, terus kasih candidate subkonsep positif dan negatif lengkap dengan gambar contoh. Buat 'healthy food', positif bisa 'salad' atau 'grain bowls', negatif bisa 'processed food' atau 'bahan mentah belum dimasak'. User tinggal keep, flip, atau drop setiap chip. Stage 2 namanya Concept Iteration: di sini sistem *gak* pakai uncertainty sampling klasik karena confidence score VLM sering gak calibrated. Alih-alih itu, sistem nyari gambar yang borderline *secara makna* — misalnya 'salad dengan mayo kental' yang bikin bingung apakah masih sehat atau tidak.

Pipeline iterasi jalanin 4 langkah: Gemini 2.5 Flash nulis query borderline, ambil 50-100 gambar per query, de-duplicate dan encode, trus grouping via dictionary learning. UCB multi-armed bandit pilih cluster paling berguna — yang paling banyak dikoreksi user atau dapet feedback kaya. VLM kasih ringkasan 1 kalimat per gambar, user lihat minimal 5 gambar yang share 1 ambiguitas sama. User label tiap gambar plus catatan singkat, LLM ubah catatan jadi candidate definition, dan greedy update simpan yang F1-nya terbaik. Proses ini berulang sampai user puas atau waktu habis.

User Bilang Lebih Santai Dibanding Manual Prompt Engineering

Selain metrik kuantitatif, Google juga ukur pengalaman user. Hasil self-reported rating dari 9 partisipan yang sama: effort (usaha) turun dari 4.67 (manual) ke 3.11 (Agile), stress turun dari 3.00 ke 1.67, mental demand turun dari 4.56 ke 3.22. Semua 9 partisipan (100%) bilang prefer Agile Deliberation dibanding manual deliberation. Rata-rata manual search query cuma 7.3 kali per sesi, tapi kualitas definisi yang dihasilkan jauh lebih bagus. Ini bikin framework ini cukup menarik buat tim moderasi konten atau siapa aja yang butuh classifier untuk konsep yang 'abu-abu' dan sulit didefinisikan pakai aturan kaku.

• Bisa jalan di Colab/Jupyter cuma butuh Gemini API key
• Demo notebook pakai contoh 'healthy food' siap pakai
• Kode open source Apache 2.0 di GitHub
• Paper lengkap ada di CVPR 2026 dan arXiv

Buat kamu yang mau coba, repo-nya sudah siap dipakai. Demo.ipynb nge-walkthrough contoh 'healthy food' step by step. Butuh Gemini API key, default pakai gemini-2.5-pro dan gemini-2.5-flash. Setup script bakal bangun FAISS index atas LAION-400M CLIP embeddings — default 2 shards sekitar 260 MB, full 100 shards sekitar 13 GB. Practical takeaway: kalau kamu bangun classifier untuk konsep subjektif (misal moderasi konten, curasi konten, filtering produk), framework ini worth a shot karena ngurangin beban mental dan effort user sambil naikkin precision. Cuma ingat: recall-nya bakal turun, jadi kalau use case kamu butuh recall tinggi (misal deteksi kejahatan, safety critical), mungkin butuh kombinin sama method lain.