Bonsai 27B dari PrismML: Gimana Bisa Jalan di Laptop dan HP?

Jadi, PrismML baru aja ngeluarin model AI terbaru mereka, namanya Bonsai 27B. Ini bukan model baru yang di-pretrain dari awal, tapi lebih ke representasi low-bit dari Qwen3.6-27B. Yang menarik, arsitekturnya tetap sama, jadi kamu nggak perlu khawatir soal performa yang aneh-aneh.

Bonsai 27B ini punya dua varian, yaitu Ternary dan 1-bit. Ternary Bonsai 27B ini pakai bobot {−1, 0, +1} dengan ukuran ideal 5.9GB, sedangkan 1-bit Bonsai 27B pakai bobot {−1, +1} dengan ukuran 3.9GB. Keduanya bisa jalan di perangkat yang lebih kecil, kayak laptop atau HP, jadi kamu bisa bawa AI ke mana aja.

Yang bikin Bonsai 27B ini keren adalah efisiensinya. Dengan ukuran yang lebih kecil, model ini masih bisa mempertahankan performa yang cukup baik. Ternary Bonsai ini bisa mempertahankan 94.6% dari performa FP16, sedangkan 1-bit Bonsai bisa mempertahankan 89.5%. Jadi, meskipun ukurannya lebih kecil, performanya tetap oke.

Bonsai 27B ini juga multimodal, artinya bisa menangani berbagai jenis data, dari teks sampai gambar. Pembagian bobotnya sekitar 24.8B untuk bahasa, 0.46B untuk tower visi, dan 2.5B untuk embeddings. Ini bikin model ini lebih fleksibel dan bisa dipakai di berbagai aplikasi.

Salah satu hal menarik lainnya adalah cara kerja cache-nya. Model ini dirancang supaya bisa memanfaatkan memori dengan efisien, terutama di perangkat dengan memori terbatas, kayak HP. Misalnya, di iPhone 17 Pro Max, model ini hanya bisa mengakses setengah dari total memori fisiknya, jadi perlu diatur supaya tetap efisien.

Kalau kamu penasaran, Bonsai 27B ini juga dilengkapi dengan fitur DSpark, yang bikin proses decoding jadi lebih cepat. Dengan DSpark, model ini bisa mencapai kecepatan 143.8 token per detik. Ini bikin proses pengolahan data jadi lebih cepat dan efisien.

Jadi, Bonsai 27B dari PrismML ini bukan hanya sekadar model AI biasa. Ini adalah langkah besar untuk membawa teknologi AI ke perangkat yang lebih kecil, tanpa mengorbankan performa. Dengan semua fitur dan efisiensinya, model ini bisa jadi game changer di dunia AI.