Cohere Luncurkan Embed 5: Bisa Nyaingi Voyage, Gemini, dan OpenAI?

Cohere baru saja ngeluarin Embed 5, keluarga model embedding terbaru mereka yang ditargetin buat enterprise search, RAG, dan agentic retrieval. Bedanya dengan versi sebelumnya, kali ini mereka nge-drop dua tier sekaligus: Embed 5 Pro yang fokus ke kualitas retrieval paling tinggi, dan Embed 5 Fast yang dioptimasiin buat latency dan cost di jalur query langsung. Keduanya sama-sama bisa nerima input teks, gambar, dan gabungan teks plus gambar — jadi kamu bisa embed halaman PDF yang di-scan, slide deck, schematic, atau chart langsung tanpa perlu extract teks dulu yang biasanya bikin informasi kehilangan.

Yang bikin Embed 5 spesial adalah arsitekturnya: Pro dan Fast berbagi satu ruang embedding yang sama. Artinya, kamu bisa index corpus pakai Pro (buat kualitas terbaik), trus query pakai Fast (buat kecepatan dan hemat biaya) tanpa perlu re-index. Cohere test setiap pasangan corpus dan query di 40 dataset development, dan hasilnya: index Pro + query Fast skor 98.4 (normalisasi Pro+Pro = 100), sedangkan all-Fast setup skor 96.6. Pola rekomendasi Cohere jelas: index pakai Pro, query pakai Fast. Syaratnya cuma satu: kedua sisi harus pakai output dimension yang sama.

Benchmark: Pro Unggul di Finance, Fast Imbang di Umum

Di benchmark ViDoRe V3 yang dilaporin Cohere, Embed 5 Pro rata-rata 85.8 — naik 8.8 poin dari Embed 4. Fast duduk di 84.5. Kompetitor terdekat: Voyage 4 Large 83.7, Gemini Embedding 2 83.2, dan OpenAI text-embedding-3-large 75.5. Di suite parsed-PDF, Pro masihimpin 84.8 vs Voyage 4 Large 83.6. Tapi yang paling menarik adalah performa di domain finance: Pro ranking pertama di FinanceBench (80.1), FinQA (90.0), dan ViDoRe V3 Finance (85.0). Fast konsisten ranking kedua di ketiganya. Buat kamu yang bangun sistem RAG untuk laporan keuangan, angka ini cukup menjanjikan.

Sisi multilingual-nya agak campur aduk. Pro leads rata-rata bahasa Eropa di 77, tapi Gemini Embedding 2 justru mengalahin Pro di 9 dari 10 bahasa lain di tabel hasil Cohere sendiri — termasuk Jepang, Arab, Hindi, dan Telugu. Jadi kalau use case kamu berat ke bahasa-bahasa Asia atau Timur Tengah, Gemini mungkin masih pilihan lebih kuat. Catatan penting: sebagian besar angka ini pakai metrik RCP-nDCG@10 baru milik Cohere, yang ngukur kualitas reranking lebih dari first-stage retrieval. Cohere udah publish kode evaluasinya, tapi replikasi independen belum ada. Jadi treat these as vendor numbers sampai ada validasi pihak ketiga.

Hemat Storage Gede Pakai Matryoshka dan Lower Precision

Embed 5 pakai Matryoshka representation learning plus output lower-precision. Angka storage-nya mengejutkan: vector 2048-dim float32 butuh 8 KB, 1024-dim int8 cuma 1 KB, dan 256-dim binary hanya 32 byte. Di skala 100 juta chunk, raw storage turun drastis dari sekitar 819 GB jadi cuma 3.2 GB. Cohere merekomendasikan 1024-dim int8 sebagai default sweet spot, dengan kualitas near-full-precision. Binary cocok buat first pass sebelum reranking, tapi trade-off accuracy-nya cukup signifikan. Buat tim engineering yang handle index skala besar, penghematan ini berarti biaya infrastruktur yang jauh lebih ringan.

Soal throughput, Fast memproses 377,3 dokumen per detik vs Pro 159,7 dokumen per detik — kira-kira 2,4x lebih cepat. Harga per 1 juta token teks: Pro $0,12, Fast $0,08. Input gambar sama-sama $0,40 per 1 juta token di kedua tier. Context window 128K token di kedua tier, jauh melampaui Voyage 4 Large (32K), Gemini Embedding 2 (8.192), dan OpenAI text-embedding-3-large (8.191). Artinya, kamu butuh chunk lebih sedikit untuk dokumen panjang seperti filing keuangan atau manual teknis.

Deploy Sekarang Bisa Lewat Banyak Jalur

Kedua tier sudah generally available hari ini. Kamu bisa akses lewat Cohere API (model ID: embed-v5.0-pro dan embed-v5.0-fast), Cohere Model Vault buat dedicated inference, Microsoft Azure AI Foundry, Amazon SageMaker via AWS Marketplace, atau private VPC/on-prem yang diserve lewat vLLM. Cohere North — workspace enterprise agent dan search mereka — juga udah terintegrasi Embed 5. Output dimensions fleksibel: 256, 512, 768, 1024, 1536, atau 2048 (default 2048), dengan format float, int8, atau binary. Support 100+ bahasa di kedua tier.

Buat praktisnya: kalau kamu bangun sistem RAG production yang butuh throughput tinggi dan cost-effective, pola index-Pro-query-Fast ini worth dicoba. Tapi ingat, benchmark masih vendor-reported dengan metrik proprietary. Tunggu independent replication sebelum taruh semua telur di keranjang ini. Kalau use case kamu multilingual heavy di bahasa non-Eropa, cek Gemini Embedding 2 dulu. Dan kalau butuh self-hosted penuh, Cohere dan Voyage (via AWS Marketplace) saat ini yang paling viable — OpenAI dan Gemini masih API-only.