Edge0 Luncurkan Audio8-TTS-Realistic: Voice Cloning 0.6B yang Bisa 23 Bahasa

Edge0 baru saja ngedrop Audio8-TTS-Realistic, model text-to-speech open-weight yang bisa clone suara kamu cuma butuh 1 klip referensi dan transkripnya doang. Model ini cuma punya 601 juta parameter (codec tidak dihitung), tapi support 23 bahasa — 12 bahasa lebih dari versi Preview-nya. Lisensinya Apache 2.0, jadi bebas dipakai komersial tanpa ribet. Buat developer, ini berarti dapat model multilingual yang akurat tapi ringan buat di-fine-tune dan di-serve.

Arsitekturnya pakai desain dual-autoregressive (DualAR) yang terinspirasi dari Fish Audio S2 Pro. Branch lambatnya dibangun di atas Qwen2.5 0.5B dengan 24 layer lebar 896, jalan sekitar 21,5 frame per detik. Setiap step memprediksi token teks plus codebook audio pertama. Trus branch cepat 4-layer ambil hidden state dari branch lambat dan memprediksi 9 codebook sisanya secara paralel. Jadi komputasi sequential cuma terjadi di level frame, bikin inference-nya cepat.

Kenapa Edge0 pakai realism critic buat training tahap akhir

Tim Edge0 berargumen kalau metrik standar seperti WER (word error rate) dan SIM (speaker similarity) nggak nangkep ritme, jeda, dan timing bicara asli. Model bisa skor tinggi di keduanya tapi tetap kedengaran sintetis. Jadi mereka latih dalam 3 tahap: dulu multilingual SFT, lalu GRPO dengan reward gabungan 0,7 WER dan 0,3 SIM, terakhir GRPO yang diarahin oleh learned realism critic. Critic ini nge-score setiap output lawan rekaman manusia kalimat yang sama, dilatih dari quality ladder 6 sistem TTS open-source yang sudah di-ranking lewat blind listening study privat.

Critic head-nya cuma sekitar 3 juta parameter di atas encoder WavLM-large yang beku. Ada juga duration penalty yang nendang kalau output melebihi 1,35x panjang referensi, biar policy nggak bisa 'nipu' critic dengan bicara pelan-pelan. Yang menarik, tahap realism ini cuma pakai prompt Chinese dan English, tapi tetap naikkan metrik di 13 bahasa low-resource lain — error turun dari 22,53% jadi 20,77%, SIM naik dari 0,637 jadi 0,679. Transfer learning yang solid banget.

Benchmark: ngejar model besar, tapi kelas 4B masih di depan

Di benchmark CV3 (9 bahasa), Audio8-TTS-Realistic catat 4,86% average error — mengalahkan VoxCPM2 2B (5,35%), CosyVoice3 1,5B (6,89%), dan Qwen3-TTS 1,7B (7,73%). Di MiniMax 24 bahasa, skor 5,89% vs Qwen3-TTS 27,41% (tapi Qwen cuma support 10 dari 24 bahasa). Seed-TTS English/Chinese rata-rata 1,25% error, SIM 0,704. Tapi model kelas 4B kayak Higgs TTS 3 masih unggul: 4,41% di CV3 dan 2,74% di MiniMax. Edge0 sendiri bilang tabel ini cuma referensi, soalnya pipeline evaluasi dan normalisasi teks beda-beda.

• CV3 (9 bahasa): 4,86% error — beat Qwen3-TTS 1,7B (7,73%)
• MiniMax (24 bahasa): 5,89% error — jauh di atas Qwen3-TTS (27,41%)
• Seed-TTS EN/ZH: 1,25% rata-rata error, SIM 0,704
• Masih kalah dari Higgs TTS 3 (~4B) di CV3 dan MiniMax

Bahasa low-resource masih jadi kelemahan utama

Performa per bahasa bervariasi banget. Chinese (1,81%) dan English (2,91%) paling bagus. Tapi Thai ambil 48,57% WER — hampir setengah salah. Vietnamese 28,11%, Finnish 32,28%, Arabic 21,10%, Hindi 21,71%. Bahasa Indonesia sendiri 13,74% WER, lumayan tapi masih jauh dari Chinese/English. Ini wajar soalnya data latih low-resource memang terbatas, tapi jadi catatan kalau kamu mau deploy buat pasar lokal.

Cara deploy: Transformers, SGLang, atau main di Hugging Face

Mau pakai? Install PyTorch 2.5+ dan Transformers 4.57+, trus load dengan trust_remote_code=True. Voice cloning butuh klip referensi bersih dan transkrip exact-nya. Repo GitHub sudah include CLI, batching, dan script supervised fine-tuning. Buat serving GPU, ada SGLang Omni adapter dengan paged attention, dynamic batching, dan API kompatibel OpenAI /v1/audio/speech. Edge0 catat throughput dan streaming belum di-benchmark. Kalau cuma mau coba-coba, ada free Playground di Hugging Face ZeroGPU. Paper bilang di Apple M2 CPU INT4 ONNX puncak memori 1,1-1,2 GiB, tapi ekspor ONNX Realistic belum tersedia publik.

Bottom line: Audio8-TTS-Realistic itu model 0,6B yang ngejar performa model 1,7B-2B di banyak benchmark, lisensi Apache 2.0 bebas, dan arsitekturnya efisien berkat DualAR. Kelemahannya di bahasa low-resource (terutama Thai) dan belum ada ONNX export. Buat kamu yang butuh voice cloning multilingual ringan buat production — ini kandidat kuat. Tapi kalau target pasar Thailand atau Vietnam, mending tunggu versi berikutnya atau fine-tune sendiri.