Llama 3 70B

Tipik %70 giriş / %30 çıkış karışımında Llama 3 70B, milyon token başına $1.28 harmanlanmış fiyata geliyor. Bu, burada takip edilen 32 modelin %28'inin üzerinde bir konum ve aynı bütçe katmanındaki 8 model onun altında kalıyor. Katman bir yetenek etiketidir, fiyat bandı değil — tek bir katmanın içindeki fiyat aralığı çoğu zaman katmanlar arasındaki farktan geniştir; sadece katmana bakarak seçmek bu yüzden fazla harcatır.

Giriş milyon başına $0.65, çıkış $2.75 — yani 4.2 kat. Bu oran, iki rakamın tek başına olduğundan daha önemli: özetleme veya sınıflandırma yükü yazdığından çok daha fazlasını okur ve giriş fiyatını takip eder; kod üretimi veya uzun metin yazımı bunu tersine çevirir ve çıkış fiyatını takip eder. Modelleri sadece giriş fiyatına göre değil, kendi trafiğinizin gerçek oranına göre karşılaştırın.

Benchmark profili düz değil, dalgalı: veri çıkarımı 100 üzerinden 80 iken görüntü 52 — 28 puanlık bir açıklık. Ortalama bunu gizler. İş yükünüz güçlü uçta duruyorsa bu model fiyatının üstünde performans verir; zayıf uçta duruyorsa daha düz profilli ve daha ucuz bir model sizi daha iyi taşır.

Bağlam penceresi 8K token, verim puanı 100 üzerinden 92. Bağlam ancak doldurursanız hakkını verir ve zaten bir isteği pahalı yapan şey de onu doldurmaktır — geniş pencere bir seçenektir, indirim değil. bütçe katmanındaki bir model için hız puanını yaptığınız işe göre değerlendirin: etkileşimli sohbette her şeyi belirler, gecelik toplu işlerde neredeyse hiçbir şeyi.

Karar vermeden kontrol etmeye değer: Gemini 2.0 Flash, kodlama ve akıl yürütme toplamında en az bunun kadar iyi ve milyon başına $0.19'a geliyor — Llama 3 70B'in $1.28'ına karşı. Bu, Llama 3 70B'i yanlış seçim yapmaz; bağlam penceresi, gecikme, tedarikçi bağımlılığı ve spesifik yetenekler benchmark puanının dışında kalır — ama fiyat farkının arkasında bir gerekçe olması gerektiği anlamına gelir.

En yakın karşılaştırma OpenAI tarafından GPT-4o Mini: milyon başına $0.29'a karşı $1.28. Bu katmanda 6 model kodlama ve akıl yürütme toplamında daha yüksek puan alıyor; asıl faydalı çerçeve de bu: soru nadiren bir modelin iyi olup olmadığıdır, gönderdiğiniz spesifik iş için yeterince iyi olan en ucuz şey olup olmadığıdır.