Together AI Luncurkan Together Compiler: Agent Bikin Inference 2,6x Lebih Cepat

Together AI baru saja drop Together Compiler (TKCC), sistem optimasi inference yang nggak cuma jalan sekali lalu berhenti. Konsepnya simpel tapi powerful: engine yang di-tuning sekali pasti bakal usang soalnya traffic production nggak pernah diam. Prompt length aja bisa beda jauh antar negara — 97K tokens di satu sisi, 70K di sisi lain. Ada pelanggan yang P90 input length-nya melonjak dari 18K jadi 33K tokens cuma dalam 3 hari. Kalau engine kamu masih ngandelin konfigurasi statis, siap-siap aja bakal ketinggalan performa.

Together Compiler kerjanya kayak loop tak terbatas. Ambil server launch command, traffic profile, dan hardware config. Trus agent coding mulai nulis ulang forward pass model. Persistent engine ngukur tiap kandidat, yang paling cepat dikirim ke serving engine. Traffic nge-drift? Loop jalan lagi. Bedanya sama pendekatan biasa: engine cuma start sekali. Agent submit kandidat lewat RPC, server swap forward function pointer, re-capture CUDA graphs. Nggak perlu restart vLLM, SGLang, atau TensorRT-LLM tiap eksperimen. Hasilnya? 252x lebih banyak eksperimen agent dibanding baseline restart-engine. Cold start MiniMax M3.1 Flash di TensorRT-LLM butuh 761 detik, tapi hot reload cuma 17–45 detik.

Dua tier pengukuran bikin pencarian 8,1x lebih efisien

Tim Together bikin dua tier measurement buat balance speed dan fidelity. Fast tier serve 12 layer buat screening cepat, slow tier serve 60 layer buat konfirmasi gain di distribusi real. Kombinasi ini ngasih 8,1x lebih banyak kandidat teruji (1.354 vs 168) dan nemu solusi 7,2% lebih cepat dibanding pakai slow tier doang. Agent juga nggak butuh knowledge base expert — malah naive agents yang cuma disuruh "bikin secepat mungkin" mengalahin strategi expert: 6,2x vs 4,9x speedup setelah 10 trial. Custom logging buatan manusia justru makan 43% tool calls, jadi Together sekarang kasih raw engine source code ke agent, nggak intermediate representation.

Benchmark nyata: hingga 2,6x TPS di bawah 24 jam

Angkanya gak main-main. Di workload AgentX SemiAnalysis InferenceX, Together Compiler ngalahin best open config hingga 2,6x TPS. Setiap setting jalan di bawah 24 jam, maksimal 2 node per model. MiniMax M3.1 Flash di B200: 1.111 vs 633 P90 TPS per user (batch size 1) — hampir 1,8x lipat. DeepSeek v4.1 Flash di GB300: 1.205 vs 943. GLM 5.3 di B200: 417 vs 329. Yang paling minim cuma GLM 5.3 di MI355X: 480 vs 463 (naik 4%). Cost model juga pintar milih parallelism layout — di Kimi K3 nemu layout production dengan 24% TPS lebih tinggi. Di Llama 1B batch size 1, dia ngalahin megakernels Hazy Research, Mirage, dan CUDA-graph baseline hingga 1,7x. Bahkan di 8 model ilmiah, speedup 1,5x–6,4x dengan output bit-exact.

Kenapa ini penting buat kamu yang bangun produk AI

Kalo kamu ngelola inference production, ini game changer. Traffic user nggak bakal tetap — prompt length, batch size, distribution expert MoE, semuanya berubah terus. Together Compiler otomatis ngurusin re-optimasi tanpa kamu harus manual benchmark tiap minggu. Agent naif justru lebih kreatif dari expert karena nggak terjebak asumsi lama. Persistent engine dengan hot reload bikin iterasi eksperimen super cepat. Buat startup sampai enterprise yang serve LLM skala besar, ini berarti cost per token bisa turun drastis sambil latency tetep rendah. Together udah jalanin ini di beberapa serverless endpoint mereka, dan limited beta buat customer udah dibuka.

Takeaway praktis: jangan percaya benchmark statis. Traffic production kamu unik, dan berubah. Sistem yang bisa continual compilation kayak Together Compiler bakal jadi standard ke depan. Kalau masih manual tuning kernel atau cuma andelin config default vLLM/SGLang, mulai evaluasi otomatisasi loop optimasi. Mulai dari logging raw engine source buat agent, bikin two-tier measurement, sampai cost model parallelism. Atau paling gampang: coba Together Compiler beta kalo eligible.