Agentic AI yang jalan pakai LLM itu kebutuhan resource-nya nggak bisa diprediksi dari awal. Peneliti bikin CRO, algoritma yang belajar dari jejak eksekusi sebelumnya buat reserve compute dan bandwidth pas — nggak kebanyakan, nggak kekurangan.
Kamu pasti udah tau agentic AI — sistem yang pakai LLM buat jalanin tugas multi-step secara otonom, panggil tool, simpen memori, dan iterasi sampe selesai atau budget habis. Tapi beda sama workflow klasik yang graf-nya udah pasti dari awal, kebutuhan compute, bandwidth, dan latency agentic AI itu muncul di runtime. Gara-gara observasi intermediate dan stochastic token sampling, profil demand-nya jadi heavy-tailed dan multi-modal. Artinya: nggak ada yang bisa duga pasti butuh resource seberapa gede sebelum dia jalan.
Ini bikin orchestrator infrastructure dapet dilemma klasik: under-provisioning berarti risiko throttling di tengah jalan dan deadline kelewat, over-provisioning berarti capacity edge atau cloud terbuang sia-sia. Scheduler existing butuh pipeline graph yang fully known, sedangkan edge resource-management methods andalkan model demand parametrik atau stationary. Keduanya nggak cocok buat profil unknown dan non-stationary milik agentic pipelines. Jadi peneliti formalisasiin ini jadi "uncertainty-aware agentic orchestration problem" — tujuannya reserve compute dan bandwidth di dispatch time yang cover actual demand, dan verifikasi pipeline bisa meet deadline, masing-masing dengan probabilitas prescribed.
CRO: Belajar dari Jejak Eksekusi Lalu
Solusi yang diusulkan namanya Conformal Reservation for Orchestration (CRO). Algoritma online ini ambil sliding window dari past execution traces, terus translate jadi dispatch-time resource allocations. Kuncinya: pakai conformal prediction buat dapetin finite-sample, distribution-free coverage guarantees. Artinya dia nggak butuh asumsi distribusi demand — cocok banget buat profil yang aneh-aneh tadi. Simulasi di heterogeneous task mixes dengan multi-modal dan heavy-tailed profiles tunjuk CRO adalah satu-satunya method yang satisfy target probabilistic coverage across all risk levels.
Lebih menarik lagi, di antara method yang coverage-feasible, CRO attain lowest over-reservation — kira-kira setengah resource waste dari Chebyshev-bound baseline. Ini berarti kamu bisa jalanin agentic AI dengan confidence tinggi tanpa boros capacity. Buat tim platform yang ngelola inference serving atau agentic workloads di skala gede, ini game changer: nggak perlu over-provision "buat jaga-jaga" yang mahal, tapi juga nggak takut pipeline mati di tengah jalan gara-gara resource kehabisan.
Praktis Buat Tim Infra dan ML Engineer
Kalau kamu ngelola cluster buat LLM serving atau agentic workloads, CRO worth dicoba. Implementasinya butuh logging execution traces yang rapi — latency per step, token count, tool calls, memory footprint. Data ini jadi input sliding window untuk conformal predictor. Mulai dengan risk level konservatif (misal 95% coverage), terus tune ke bawah sambil monitor waste. Kunci praktis: pastikan tracing nggak nambah overhead signifikan, dan window size cukup gede buat capture variabilitas tapi nggak terlalu lama sampe stale.
- Log execution traces per step: latency, tokens, tool calls, memory
- Gunakan sliding window conformal prediction untuk reserve resource
- Set risk level awal konservatif (95%), turunkan perlahan sambil monitor waste
- Pastikan tracing overhead minimal agar nggak ganggu pipeline utama
Catatan redaksi
Kalau lo cuma ambil satu hal dari artikel ini
Agentic AI yang jalan pakai LLM itu kebutuhan resource-nya nggak bisa diprediksi dari awal. Peneliti bikin CRO, algoritma yang belajar dari jejak eksekusi sebelumnya buat reserve compute dan bandwidth pas — nggak kebanyakan, nggak kekurangan.
