Yapay zekâ Hintçe dilinde neden daha pahalı?
Aynı şeyi Hintçe söylemek, İngilizce söylemenin 1.67 katı token tutuyor. Sağlayıcılar token başına faturalandırdığı için bu, gönderdiğiniz her prompt'a eklenen %67 demek — daha iyi cevaplar için değil, sadece kodlama yüzünden.
Ölçüm
Token maliyetinde 25 dil içinde 7.Yeni tokenizer açığın %85'ini kapattı. Bu gerçek bir ilerleme, ama eşitlik değil; eski modeller hâlâ eski tarifeden faturalandırıyor.
Bunun gerçek bir ürüne maliyeti
$5,029yılda, sadece kodlamaya
Ayda 500 bin çağrı, çağrı başına 500 İngilizce token ve milyon girdi token'ı başına 2,50 $ üzerinden. Yalnızca girdi tarafı — çıktı uzunluğu cevabın özelliğidir, dilinizin değil.
Beş farklı metin türünde ölçüldü
Tek cümle hiçbir şey kanıtlamaz; bu yüzden her dilde aynı beş metin ölçülüyor. Ceza, ne yazdığınıza göre 1.50× ile 1.87× arasında değişiyor.
| Metin türü | Token | İngilizce'ye göre |
|---|---|---|
| İş e-postası | 56 | 1.87× |
| Destek yanıtı | 56 | 1.51× |
| Ürün açıklaması | 61 | 1.79× |
| Talimat | 59 | 1.74× |
| Günlük mesaj | 57 | 1.50× |
Bu neden oluyor
Latin aralığı dışındaki karakterler, birleştirme başlamadan önce birkaç UTF-8 baytı tutar ve tokenizer'ın öğrendiği sözlükte bu yazı sisteminden görece az parça bulunur; bu yüzden kelimeler İngilizce'dekinden fazla bölünür.
Sık sorulan sorular
Hintçe neden daha fazla token harcıyor?
Tokenizer'lar sözlüklerini ezici çoğunluğu İngilizce olan eğitim metninden öğrenir; bu yüzden İngilizce kelime parçaları kendi token'ını alırken diğer dillerin kelime biçimleri daha küçük parçalara bölünür. Etki mekaniktir, dil hakkında bir yargı değildir.
Bu konuda bir şey yapabilir miyim?
Üç şey işe yarar. Sistem prompt'larını ve talimatları İngilizce yazın, kullanıcıya görünen içeriği Hintçe tutun — model talimatı iki türlü de anlar. Yeni modelleri tercih edin; tokenizer'ları İngilizce dışı metinde belirgin şekilde daha iyi. Ve gereksiz kalıpları temizleyin, çünkü ceza gönderdiğiniz her token'a işliyor, boşa gidenler dahil.
Bu ölçüm mü, tahmin mi?
Ölçüm. Gerçek tokenizer'lar her dilde beş paralel metin üzerinde çalıştırılıyor ve sayımlar kesin. Tek yumuşak girdi çevirinin kendisi; bu yüzden derlem tam olarak yayımlanıyor ve tek bir hoşa giden ortalama yerine beş metin arasındaki yayılım gösteriliyor.
Benzer maliyetli diller
Yöntem: gerçek BPE tokenizer'ları — GPT-4 kuşağı için cl100k_base, GPT-4o ve sonrası için o200k_base — her dilde beş metinden oluşan paralel bir derlem üzerinde çalıştırılıyor. Token sayıları kesindir, tahmin değildir. Çeviriler bize aittir ve depoda tam olarak durur; çünkü daha uzun bir çeviri daha fazla token tüketir ve bizimkini denetleyebilmelisiniz.