Aleph Alpha Luncurkan Kolibri: Model 78B Parameter Cuma Aktif 3.46B?

Aleph Alpha baru saja drop Kolibri, model Mixture-of-Experts (MoE) bilingual English-German yang total parameternya gede banget — 78,1 miliar. Tapi jangan panik dulu soal hardware, soalnya model ini cuma mengaktifkan 3,46 miliar parameter per token. Itu cuma 4,4% dari total, jadi komputasinya ringan banget dibanding model dense biasa. Bayangin aja: kamu dapet kapasitas model raksasa tapi biaya inferensi kayak model kecil. Aleph Alpha bilang model ini bisa di-serve di satu GPU NVIDIA B200, B300, atau H200, atau dua H100 SXM5. Checkpoint FP8-nya sekitar 78 GB, jadi masih masuk VRAM single high-end GPU.

Yang bikin Kolibri beda sama MoE lain adalah arsitektur hybrid attention-nya. Dari 50 transformer block, 40 pakai sliding-window attention yang cuma lihat 512 token sebelumnya, dan 10 block pakai full attention tanpa positional encoding. Desain ini bikin KV cache cuma tumbuh di 10 layer, jadi konteks 1 juta token (1.048.576 token tepatnya) tetap affordable. Aleph Alpha klaim di compute yang sama, hybrid ini support sequence 4x lebih panjang dari full-attention model. Buat kamu yang butuh processing dokumen panjang — kontrak hukum, laporan teknis, atau codebase besar — ini game changer banget.

Tokenizer dioptimasiin buat bahasa Jerman

Aleph Alpha nggak cuma terjemahin model English ke German. Mereka bikin tokenizer sendiri pakai UniBPE dengan vocab 128.000 token yang dilatih khusus buat morfologi Jerman. Hasilnya? Kompresi teks Jerman jadi 11,2% lebih efisien dari tokenizer GPT-5 — 4,90 bytes per token vs 4,35. Artinya token yang dipakai lebih sedikit, jadi lebih hemat compute dan konteks. Buat English tetap kompetitif: 4,58 bytes per token vs 4,67 GPT-5. Ini penting banget karena training mix-nya lebih dari 20% teks Jerman (lebih dari 2 triliun token dikurasi atau digenerate sintetis), sisanya English web, code, STEM, dan reasoning data.

Training masif 24 triliun token di infrastruktur EU