Astra Edit Bobot Qwen, Tapi Honnibal: Klaim 'Baca Bobot Mentah' Menyesatkan

Pos berjudul "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights" terbit pada 2 November 2026. Pos itu melaporkan model bernama GPT-6 Astra bisa membaca dan menulis bobot jaringan saraf. Pada 3 November, Matthew Honnibal, ahli linguistik komputasional yang membuat spaCy dan ikut mendirikan Explosion, menulis kritik di blognya: menurutnya pos soal Qwen itu menyesatkan. Arah kritiknya ternyata lebih sempit daripada yang mungkin kamu bayangkan, jadi kita bedah satu per satu.

Apa yang diklaim pos aslinya

Menurut pos asli, yang ditulis Rikiya Takehi, Jayden Teoh, Alex Zhang, dan Omar Khattab (semuanya berafiliasi dengan MIT CSAIL), LLM frontier mahir membaca dan menulis bobot jaringan saraf secara langsung, baik lewat alat, algoritma, maupun penyuntingan bobot. Model yang dipakai disebut GPT-6 Astra. Halaman itu tidak menyebut siapa pengembang Astra atau bagaimana cara mengaksesnya.

Pos itu memuat delapan eksperimen. Di eksperimen 1, Astra menebak game dari bobot empat kebijakan PPO (masing-masing 17.253 bobot) dan benar semua. Di eksperimen 4, ia mengedit 3,5% dari 171.664 bobot kebijakan mobil di Kinetix dalam sekali percobaan, dan mobilnya berhasil di seluruh 1.024 episode. Eksperimen 8 menyasar Qwen3.5-0.8B: Astra mengubah 131.072 bobot (0,016% dari total) memakai kernel Python tanpa GPU, dengan soal latihan dari GSM8K dan MATH, anggaran 10, 25, atau 50 forward pass, dan tanpa pelatihan maupun informasi gradien. Pada anggaran 50, skor MATH-500 naik dari 7,9% ke 48,1% dan IFEval dari 21,0% ke 62,3%, yang disebut pos itu sekitar tiga kali lipat.

Kritik Honnibal

Menurut Honnibal, pengaturan "hanya dengan melihat bobot mentah" di pos itu cuma muncul di eksperimen 1, 2, dan 4, yang memakai jaringan berukuran 17 ribu sampai 172 ribu bobot. Eksperimen Qwen, dalam tabel yang ia susun, tidak membaca bobot mentah: ia menulis bobot, memakai Python, dan menjalankan jaringannya pada hingga 50 batch soal latihan. Ia memakai analogi sulap, yaitu satu trik yang dilakukan dengan beberapa cara sehingga tiap versi tampak menyingkirkan penjelasan yang lain, dan menilai pos itu bekerja dengan cara serupa. Menurutnya, hasil Qwen dan eksperimen lain yang memakai Python tidak semestinya berada dalam satu pos atau makalah, karena penggabungannya menyiratkan kemampuan tunggal yang lebih dalam daripada yang ditunjukkan bukti.

Honnibal juga mengakui nilai hasilnya. Ia menulis bahwa Astra bisa diarahkan untuk merancang dan menjalankan tugas yang bisa dikerjakan insinyur ML manusia, dan bahwa mencari cara melakukannya secara produktif bukan hal sepele. Menurutnya, model satu-dua tahun lalu akan gagal di semua tugas itu. Dalam bacaan kami, kritiknya soal pembingkaian eksperimen, bukan tuduhan bahwa hasil Qwen-nya palsu.

Batas yang dicatat pos asli

Pos asli sendiri mencatat sejumlah batas. Dengan anggaran 10 atau 25 forward pass, peningkatan pada Qwen lebih kecil dan perulangan jawaban sebagian besar masih terjadi. Pada Gemma 3 270M, yang jarang mengalami perulangan, pos itu mencatat tidak ada perbaikan di MATH-500 (6,8% sebelum edit, 7,7% pada hasil edit terbaik). Dalam percobaan mencari model penjilat (sycophant) di antara model Gemma 3 270M hasil fine-tune, Astra gagal di empat percobaan bila hanya melihat bobot, dan benar di tiga dari tiga pasangan setelah boleh memeriksa pola attention. Para penulis menyebut kemampuan saat ini masih terbatas, antara lain karena panjang konteks dan inefisiensi harness.

Sumber: pos "Sparks of Weight-Space Programming" (rikiyat.github.io/blog/weight-space-programming, 2 November 2026) dan kritik Matthew Honnibal (honnibal.dev/blog/astra-read-write-misleading, 3 November 2026). Semua klaim kemampuan Astra di atas adalah klaim pos asli, belum diverifikasi secara independen oleh Captivela.