Llama 3.1 405B

Tipik %70 giriş / %30 çıkış karışımında Llama 3.1 405B, milyon token başına $2,70 harmanlanmış fiyata geliyor. Bu, burada takip edilen 47 modelin %45'inin üzerinde bir konum ve aynı amiral gemisi katmanındaki 2 model onun altında kalıyor. Katman bir yetenek etiketidir, fiyat bandı değil — tek bir katmanın içindeki fiyat aralığı çoğu zaman katmanlar arasındaki farktan geniştir; sadece katmana bakarak seçmek bu yüzden fazla harcatır.

Giriş milyon başına $2,70, çıkış $2,70 — yani 1,0 kat. Bu oran, iki rakamın tek başına olduğundan daha önemli: özetleme veya sınıflandırma yükü yazdığından çok daha fazlasını okur ve giriş fiyatını takip eder; kod üretimi veya uzun metin yazımı bunu tersine çevirir ve çıkış fiyatını takip eder. Modelleri sadece giriş fiyatına göre değil, kendi trafiğinizin gerçek oranına göre karşılaştırın.

Benchmark profili alışılmadık biçimde düz — veri çıkarımı 87/100 ile başı çekiyor ama en güçlü kategoriyle en zayıfı arasında yalnızca 3 puan var. Bu, hangi yeteneğin devreye gireceğini önceden kestiremediğiniz karışık iş yükleri için Llama 3.1 405B'i güvenli bir varsayılan; uzman bir model gerektiğinde ise kötü bir tercih yapıyor.

Bağlam penceresi 128K token, verim puanı 100 üzerinden 65. Bağlam ancak doldurursanız hakkını verir ve zaten bir isteği pahalı yapan şey de onu doldurmaktır — geniş pencere bir seçenektir, indirim değil. amiral gemisi katmanındaki bir model için hız puanını yaptığınız işe göre değerlendirin: etkileşimli sohbette her şeyi belirler, gecelik toplu işlerde neredeyse hiçbir şeyi.

Karar vermeden kontrol etmeye değer: GPT-6 Luna, kodlama ve akıl yürütme toplamında en az bunun kadar iyi ve milyon başına $0,22'a geliyor — Llama 3.1 405B'in $2,70'ına karşı. Bu, Llama 3.1 405B'i yanlış seçim yapmaz; bağlam penceresi, gecikme, tedarikçi bağımlılığı ve spesifik yetenekler benchmark puanının dışında kalır — ama fiyat farkının arkasında bir gerekçe olması gerektiği anlamına gelir.

En yakın karşılaştırma Anthropic tarafından Claude 3 Opus: milyon başına $33,00'a karşı $2,70. Bu katmanda 11 model kodlama ve akıl yürütme toplamında daha yüksek puan alıyor; asıl faydalı çerçeve de bu: soru nadiren bir modelin iyi olup olmadığıdır, gönderdiğiniz spesifik iş için yeterince iyi olan en ucuz şey olup olmadığıdır.