Zyphra Luncurkan ZHA: Attention Sparse Tree-based yang Beneran Subquadratic?

Zyphra baru saja ngeluarin Zyphra Hierarchical Attention (ZHA), metode sparse attention yang beda banget sama pendekatan lain. Yang bikin ZHA spesial? Dia pakai tree-structured indexer buat nyari key yang relevan, bukan scan semua konteks kayak sparse attention biasa. Artinya, proses pencarian jadi sparse juga, bukan cuma attention-nya doang. Zyphra klaim ZHA bisa di-distilasi ke model pretrained yang sudah frozen cuma pakai sekitar 4B token — itu cuma 0.00024% dari parameter total Qwen3.6-35B-A3B, sekitar 81.920 parameter tambahan doang.

Cara kerja ZHA itu kayak bikin hierarki ringkasan. Key mentah digabung jadi chunk, tiap chunk dikompres jadi summary key pakai 16 learned reference queries. Summary itu terus dikompres level demi level sampe ke root. Saat decode, query cuma scoring node level atas, lalu top-p routing milih cabang yang punya porsi attention mass paling gede. Cabang lain di-drop seluruhnya. Jadi kalau cuma butuh satu fakta, dia cuma buka sedikit cabang. Kalau butuh faksc tersebar, dia buka lebih banyak. Token pertama selalu dijaga sebagai attention sink.

Kenapa tree indexer beda sama yang lain

Sparse attention lain kayak MSA (MiniMax) pakai flat block indexer per GQA group, DSA (DeepSeek) scoring setiap token pakai lightning indexer, dan NSA (DeepSeek) gabungin compression + selection + sliding window. ZHA beda karena indexer-nya multi-level tree, jadi cost-nya sublinear per query — bukan quadratic kayak MSA atau DSA. ZHA juga bisa ditambahin ke model pretrained existing cuma ~4B token training dengan backbone frozen. MSA butuh 400B-token CPT, DSA butuh continued training V3.1-Terminus, dan NSA native pretraining dari nol. Model terbesar yang ditest ZHA cuma 35B MoE, jauh lebih kecil dari 109B MSA atau 685B DSA.

Benchmark: ZHA ngejar dense attention di retrieval

Di Qwen3.6-35B-A3B, ZHA deep tree (chunk 4, 6 level) dan wide tree (chunk 256, 1 level) dua-duanya pake 16 reference queries dan p=0.95. Hasilnya mengejutkan: LongBench v2 thinking, ZHA deep score 63.4% vs dense 58.0% — ZHA malah menang! RULER-13 256K, wide tree 96.2% vs dense 96.0%, hampir sama. Tapi MSA ambruk ke 77.1% di RULER-13 padahal key share-nya mirip (1% vs 1.1% ZHA deep). Di AIME 2026, SWE-bench, MMLU-Pro, GPQA Diamond, ZHA stay dekat dense, kadang nyampai sedikit lebih tinggi. Terminal-Bench 2.1 jadi titik lemah: deep tree 46.7% vs dense 49.9%.

Speedup cuma proyeksi, belum ada kernel optimized

Zyphra nggak release optimized kernel sama sekali. Speedup-nya cuma dari modeled H100 BF16 roofline, batch size 1, 1 layer. Di setting ringan (1 reference query, chunk 8, p=0.75), ZHA proyeksi ngejar dense di ~48K token dan MSA di ~0.48M token. Di 1B token, speedup proyeksi 373-417x over dense dan 52-58x over MSA. Tapi di 256K (batas test nyata), gain cuma 1.93x-2.28x over dense di RULER 92.7-96.4%. Routing dan selection sendiri punya cost, jadi speedup nyata butuh kernel custom yang belum ada.

Training: frozen backbone, cuma reference queries yang belajar

Training ZHA itu cuma nge-freeze base model, trus train reference queries aja pakai KL loss buat match dense attention mass per chunk di setiap level. Qwen dan Nemotron pake 3.98B token selama 1.900 step di 32K context. Zyphra ngakui model di bawah 1B parameter gagal konversi, hasil bagus baru kelihatan di 4B parameter ke atas. Ada juga varian FP4 router yang ditest, tapi detailnya minim. Bottom line: ZHA itu efisien parameter, tapi butuh model cukup gede biar kerja.

Buat kamu yang pengen coba ZHA: paper-nya ada di arXiv 2610.42112, dan Zyphra punya technical blog lengkap. Kalau mau retrofit model 35B+ buat long context tanpa retraining dari nol, ZHA worth a shot — tapi jangan harap speedup magis sampe kernel optimized keluar. Perhatian khusus kalau pakai arsitektur NoPE kayak Nemotron: retrieval accuracy bisa drop drastis (25 poin di RULER-13). Pilih wide tree kalau retrieval priority, deep tree kalau reasoning diffuse.