Yapay zekâ Türkçe'de neden daha pahalı? Ölçtük.

Türkiye'de yapay zekâ kullanan bir şirket, Amerika'daki rakibiyle birebir aynı ürünü çalıştırsa bile daha yüksek fatura öder. Sebep model değil, fiyat listesi de değil. Sebep, yazdığınız dilin makineye kaç parçada anlatıldığı.

Bunu tahmin etmek yerine ölçtük: beş farklı metin türünü — iş e-postası, destek yanıtı, ürün açıklaması, talimat ve günlük mesaj — 25 dile çevirip gerçek tokenizer'lardan geçirdik. Aşağıdaki rakamların hiçbiri tahmin değil.

Sonuç: Türkçe %64 daha pahalı

Güncel modellerin tokenizer'ında (o200k_base — GPT-4o ve sonrası) Türkçe, aynı anlamı ifade etmek için İngilizce'nin 1,64 katı token harcıyor. Eski kuşakta (cl100k_base — GPT-4) bu oran 2,17'ydi.

Neden oluyor?

Tokenizer'lar sözlüklerini eğitim metninden öğreniyor ve o metin ezici çoğunlukla İngilizce. Sık geçen İngilizce kelime parçaları kendi token'ını kazanıyor. Türkçe'nin ek zincirleri ise bu sözlükte yer bulamıyor: "evlerinizden" gibi tek bir kelime, makine için birkaç ayrı parçaya bölünüyor.

Bu bir kalite yargısı değil, mekanik bir sonuç. Model Türkçe'yi daha kötü anlamıyor; sadece aynı cümleyi saymak için daha çok birim kullanıyor ve fatura o birimler üzerinden kesiliyor.

Yeni tokenizer düzeltti mi? Kısmen.

En çok merak edilen soru bu, ve cevabı düşündüğünüzden ilginç. GPT-4o ile gelen yeni tokenizer bazı diller için açığı neredeyse kapattı, bazıları için neredeyse hiç kıpırdamadı. Aşağıdaki tablo, iki kuşak arasındaki farkı en çok kapanan dillerden başlayarak gösteriyor.

Türkçe için açığın %46'sı kapandı. Bu iyi bir haber ama eşitlik değil — ve daha önemlisi, hâlâ GPT-4 kuşağı model kullanıyorsanız eski tarifeden ödemeye devam ediyorsunuz.

Ne yapabilirsiniz?

• —Sistem prompt'larınızı İngilizce yazın, kullanıcıya görünen içeriği Türkçe bırakın. Model talimatı iki türlü de anlıyor, ama sistem prompt'u her çağrıda tekrar tekrar gönderiliyor — en çok kazanç orada.
• —Yeni kuşak modellere geçin. Sadece daha iyi oldukları için değil, tokenizer'ları Türkçe'yi belirgin şekilde daha verimli kodladığı için.
• —Gereksiz kalıpları temizleyin. "Merhaba, umarım iyisinizdir" gibi nezaket cümleleri her çağrıda ücretli. Ceza her token'a işliyor, boşa gidenler dahil.

Tüm diller

Türkçe en kötüsü değil. Yunanca, Macarca ve Ukraynaca daha ağır ödüyor. Ölçtüğümüz 25 dilin tamamı:

Yöntem

Gerçek BPE tokenizer'ları (cl100k_base ve o200k_base) her dilde beş paralel metin üzerinde çalıştırıldı. Token sayıları kesindir. Tek yumuşak nokta çevirilerin bize ait olması — daha uzun bir çeviri daha çok token tüketir. Bu yüzden derlemin tamamı depoda açık duruyor ve tek ortalama yerine metin türleri arasındaki yayılım da yayımlanıyor.