Prime Intellect Luncurkan Prime Inference, Serverless untuk Model AI Terbuka

Prime Intellect baru saja drop Prime Inference, platform serving buat model AI open-source paling canggih saat ini. Bedanya sama yang lain? Platform ini punya dua mode sekaligus: serverless endpoints buat permintaan yang naik turun, dan reserved capacity buat beban kerja yang konstan dan butuh jaminan performa. Sebelum dibuka ke publik, sistem ini sudah handle hampir triliun token per hari secara internal — trafficnya datang dari RL rollouts, synthetic data generation, evaluasi, dan coding agents yang jalan terus-menerus. Artinya, ini bukan cuma demo atau prototype, tapi udah battle-tested di skala gede banget.

Apa bedanya serverless sama reserved capacity

Mode serverless cocok banget kalau kamu punya workload yang unpredictable — kadang sepi, kadang rame banget. Kamu bayar per pemakaian, gak perlu kelola infrastruktur sendiri. Sementara reserved capacity ditujukan buat tim yang butuh throughput konstan dan latency rendah, misalnya buat production agents yang jalan 24/7. Keduanya jalan di GPU milik Prime Intellect sendiri yang tersebar di multiple datacenters, jadi gak bergantung ke penyedia cloud pihak ketiga. Billing-nya unified dengan tracking per tim, jadi finance gak pusing ngurus invoice dari vendor berbeda.

Stack teknologi di balik layar yang bikin cepet

Prime Inference dibangun pakai kombinasi NVIDIA Dynamo, vLLM, Mooncake, dan FlashInfer — semuanya open source dan fix-nya dikontribusikan balik ke upstream. Arsitekturnya pakai prefill/decode disaggregation: prefill dan decode jalan di grup GPU terpisah, Dynamo handle routing, vLLM jalanin model di masing-masing grup. Decoder tarik KV cache yang sudah dihitung lewat NIXL. Hasilnya? Prime claim nearly 40% lower p90 inter-token latency dibanding shared GPU setup. Cache-aware routing Dynamo mempertimbangkan cached prefix overlap versus antrian kerja, jadi session tetap di decoder yang sama antar turn. Mooncake nambah tier KV kedua di host DRAM buat capacity lebih gede.

Angka performa GLM-5.3 di GB200 NVL72 yang bikin terpana

Target interaktivitasnya 100 end-to-end tokens per second per user. Di titik operasional terbaik (rasio prefill/decode 1:4), sistem serve 66 sessions per prefill group di 101 tok/s per user dan 100 output tok/s per GPU. Topologi DEP8 prefill kasih roughly 5x more usable prefix-cache capacity daripada TEP8 di hardware yang sama. NVFP4 KV compression memotong setiap MLA cache row dari 572 jadi 352 bytes, naikkan cached tokens per decoder dari 1.09M jadi 1.63M. Native sparse-MLA kernel clock 12.0 μs di 15 query tokens, unggul dari staged (17.7 μs) dan FP8 (13.7 μs). BLHNC KV layout bikin transfer descriptors drop dari 19,559 jadi ~1,940, mean transfer time turun dari 146 ms jadi 78 ms. Semua angka ini spesifik buat workload agentic di mana satu turn nambah ~6K tokens ke prompt 140K-token.

Tool call jadi andalan, gak cuma cepet doang

Agent sering gagal gara-gara tool call yang nama salah atau argumen rusak. Tim Prime Intellect contribute structural-tag builder ke Dynamo buat format tool GLM. vLLM lalu pakai xgrammar buat mask token yang melanggar schema tool. Mereka juga fix parsing bugs, termasuk kasus di mana token salah decode ke dalam blok kode. Hasilnya near-zero tool-call error rate dan 100% uptime sejak launch. Buat developer yang bangun agent production, ini game changer — gak perlu mikir error handling tool call yang bikin pusing.

Kompetitor kayak Together AI, Fireworks AI, dan Baseten juga serve GLM-5.3, tapi Prime Inference beda di transparency stack (open source penuh), pricing per-model yang belum fully published tapi unified billing, dan roadmap batch inference plus 1-click dedicated deploys. Hardware hari ini NVIDIA Blackwell, Vera Rubin listed as coming soon. Kalau kamu ngincar serving open model yang cepet, reliable, dan gak lock-in ke vendor cloud tertentu, Prime Inference layak di-incar. Cek docs dan announcement mereka buat detail teknis lengkapnya.