Yapay zekâ Japonca dilinde neden daha pahalı?
Aynı şeyi Japonca söylemek, İngilizce söylemenin 1.63 katı token tutuyor. Sağlayıcılar token başına faturalandırdığı için bu, gönderdiğiniz her prompt'a eklenen %63 demek — daha iyi cevaplar için değil, sadece kodlama yüzünden.
Ölçüm
Token maliyetinde 25 dil içinde 9.Yeni tokenizer açığın %51'ini kapattı. Bu gerçek bir ilerleme, ama eşitlik değil; eski modeller hâlâ eski tarifeden faturalandırıyor.
Bunun gerçek bir ürüne maliyeti
$4,725yılda, sadece kodlamaya
Ayda 500 bin çağrı, çağrı başına 500 İngilizce token ve milyon girdi token'ı başına 2,50 $ üzerinden. Yalnızca girdi tarafı — çıktı uzunluğu cevabın özelliğidir, dilinizin değil.
Beş farklı metin türünde ölçüldü
Tek cümle hiçbir şey kanıtlamaz; bu yüzden her dilde aynı beş metin ölçülüyor. Ceza, ne yazdığınıza göre 1.35× ile 2.00× arasında değişiyor.
| Metin türü | Token | İngilizce'ye göre |
|---|---|---|
| İş e-postası | 60 | 2.00× |
| Destek yanıtı | 50 | 1.35× |
| Ürün açıklaması | 63 | 1.85× |
| Talimat | 55 | 1.62× |
| Günlük mesaj | 54 | 1.42× |
Bu neden oluyor
Çince, Japonca ve Korece karakterler UTF-8'de üçer bayt tutar, ama her karakter bir Latin harfinden çok daha fazla anlam taşır. İki etki kısmen birbirini götürür; bu diller bayt maliyetinin düşündürdüğünden daha eşit seviyededir.
Sık sorulan sorular
Japonca neden daha fazla token harcıyor?
Tokenizer'lar sözlüklerini ezici çoğunluğu İngilizce olan eğitim metninden öğrenir; bu yüzden İngilizce kelime parçaları kendi token'ını alırken diğer dillerin kelime biçimleri daha küçük parçalara bölünür. Etki mekaniktir, dil hakkında bir yargı değildir.
Bu konuda bir şey yapabilir miyim?
Üç şey işe yarar. Sistem prompt'larını ve talimatları İngilizce yazın, kullanıcıya görünen içeriği Japonca tutun — model talimatı iki türlü de anlar. Yeni modelleri tercih edin; tokenizer'ları İngilizce dışı metinde belirgin şekilde daha iyi. Ve gereksiz kalıpları temizleyin, çünkü ceza gönderdiğiniz her token'a işliyor, boşa gidenler dahil.
Bu ölçüm mü, tahmin mi?
Ölçüm. Gerçek tokenizer'lar her dilde beş paralel metin üzerinde çalıştırılıyor ve sayımlar kesin. Tek yumuşak girdi çevirinin kendisi; bu yüzden derlem tam olarak yayımlanıyor ve tek bir hoşa giden ortalama yerine beş metin arasındaki yayılım gösteriliyor.
Benzer maliyetli diller
Yöntem: gerçek BPE tokenizer'ları — GPT-4 kuşağı için cl100k_base, GPT-4o ve sonrası için o200k_base — her dilde beş metinden oluşan paralel bir derlem üzerinde çalıştırılıyor. Token sayıları kesindir, tahmin değildir. Çeviriler bize aittir ve depoda tam olarak durur; çünkü daha uzun bir çeviri daha fazla token tüketir ve bizimkini denetleyebilmelisiniz.