BlockLock Bikin LLM Reproduktif Tanpa Bikin Lambat, Gimana Caranya?

Pernah nggak sih kamu jalanin inference LLM yang sama persen, tapi hasilnya beda-beda cuma gara-gara ada request lain yang ikut dibatching bareng? Nah, itu masalah klasik yang bikin pusing para engineer: reproducibility. Konsepnya simpel — request yang sama harus ngasih output yang sama persen, bit-by-bit, nggak peduli siapa yang lagi nongkrong di batch yang sama. Tapi kenyataannya? Susah banget.

Sampai sekarang, cuma ada dua jalan keluar — dan keduanya punya harga mahal. Pertama, pakai batch-invariant kernels yang memaksa setiap operator jalanin cara yang kaku banget, bikin performa nosedive. Kedua, isolasiin prefill dengan fixed-shape decode, tapi sayangnya kamu kehilangan shared prefill compute dan harus nge-pad decode. Dua-duanya bikin latency naik dan throughput anjlok. Engineer pasti mikir: "Pasti ada cara yang lebih cerdas, kan?"

BlockLock: Ngunci Geometri, Bukan Semua Operator

BlockLock datang dengan pendekatan beda: dia nggak mengunci semua operator kayak batch-invariant kernels. Dia cuma ngunci geometri yang dilihat request target — yaitu posisi dan bentuk tensor yang dia proses. Intinya, request target tetep dapet shared batched prefill (jadi efisien), tapi jalur numeriknya dipastikan tetap sama. Ada dua mode yang bisa dipilih tergantung kebutuhan deployment kamu.

Mode pertama namanya BlockLock-Rows. Dia pakai fixed-width rows dan tetep retain batched decode untuk semua request. Jadi request target dapet barisnya sendiri yang lebarnya tetap, sementara request lain bebas berubah-ubah di sampingnya. Mode kedua, BlockLock-Pack, lebih agresif: dia pakai terminal-anchored packing dengan dummy segment terisolasi, lalu extract KV state request target buat target-only decode. Keduanya, di bawah kontrak per-deployment yang jelas, jamin output target bitwise-identical walau teman batchnya diganti-ganti.

Hasil Benchmark: Latency Turun 53%, Throughput Naik 2x

Tim riset test BlockLock di lima model dense populer: Qwen3-8B dan 14B, Llama-3.1-8B-Instruct, serta Gemma-3-4B dan 12B-IT. Deployment-nya di tiga single-GPU: NVIDIA A6000, A100, dan H100. Benchmark pakai tinyBenchmarks dan BFCL, plus eksperimen tensor-parallel awal di dua A6000. Hasilnya? BlockLock-Rows mengalahkan vLLM Batch-Invariant dengan latency turun 53,5–55,0% dan throughput naik 115,2–122,2%. Artinya lebih dari dua kali lipat efisien. Dan yang paling keren: nggak butuh custom kernel implementation sama sekali.

BlockLock-Pack juga performa solid, walau paper lebih highlight BlockLock-Rows buat kasus umum. Yang penting, kedua mode ini cuma nge-constrain request yang dilindungi — request lain bebas aja. Ini beda jauh sama batch-invariant kernels yang memaksa semua request ikut kena aturan kaku. Buat production yang butuh reproducibility tapi nggak mau korbanin performa, ini game changer banget.

Kenapa Ini Penting Buat Kamu yang Bangun Produk AI

Kalau kamu bangun aplikasi yang butuh deterministik output — misalnya legal tech, medical AI, financial compliance, atau testing otomatis — reproducibility itu non-negotiable. Dulu kamu harus pilih: cepet tapi random, atau konsisten tapi lambat. BlockLock buktiin kamu bisa dapet keduanya. Latency turun setengah, throughput dobel, dan output tetep bitwise sama. Engineer backend dan ML platform team harus mulai evaluasi ini buat stack inference mereka.

Takeaway praktisnya: kalau tim kamu lagi pakai vLLM dan butuh reproducibility, coba lihat BlockLock-Rows sebagai drop-in improvement. Nggak perlu rewrite kernel, nggak perlu ganti hardware, cuma perlu adjust batch geometry handling. Paper ini fresh dari arXiv (2611.06977v1), jadi implementasi open-source mungkin belum ada — tapi konsepnya cukup jelas buat diadopsi. Pantau repo resmi dan discussion di komunitas vLLM buat update selanjutnya.