Llama 3 70B

Sur un mélange typique de 70 % d'entrée et 30 % de sortie, Llama 3 70B revient à 1,28 $US le million de tokens. Cela le place au-dessus de 28 % des 47 modèles suivis ici, et 12 autres modèles du même palier économique passent en dessous. Le palier est une étiquette de capacité, pas une tranche de prix : l'écart à l'intérieur d'un palier est souvent plus large qu'entre paliers, et c'est pourquoi choisir au palier seul fait généralement dépenser trop.

L'entrée coûte 0,65 $US le million et la sortie 2,75 $US, soit un rapport de 4,2x. Ce rapport compte plus que chacun des deux chiffres pris isolément : une charge de résumé ou de classification lit bien plus qu'elle n'écrit et suivra le prix d'entrée, tandis que la génération de code ou la rédaction longue inverse la chose et suivra celui de sortie. Comparez les modèles sur le rapport qu'a réellement votre trafic, pas sur le seul prix d'entrée.

Le profil de benchmarks est étonnamment plat : extraction de données mène à 80/100, mais seuls 4 points séparent la catégorie la plus forte de la plus faible. Cela fait de Llama 3 70B un choix par défaut sûr pour des charges mixtes où l'on ne peut pas prévoir quelle capacité chaque requête sollicitera, et un mauvais choix s'il vous faut un spécialiste.

La fenêtre de contexte est de 8K tokens et le score de débit de 92/100. Le contexte ne se justifie que si vous le remplissez, et le remplir est précisément ce qui rend une requête coûteuse : une grande fenêtre est une option, pas une remise. Pour un modèle de palier économique, jugez la vitesse selon votre usage : elle décide de tout en chat interactif et de presque rien en traitement par lots nocturne.

À vérifier avant de vous engager : Gemini 2.0 Flash obtient au moins aussi bien en programmation et raisonnement combinés et revient à 0,19 $US le million contre 1,28 $US pour Llama 3 70B. Cela ne fait pas de Llama 3 70B un mauvais choix — fenêtre de contexte, latence, dépendance au fournisseur et capacités spécifiques échappent à un score de benchmark — mais cela signifie que l'écart de prix doit avoir une raison derrière lui.

La comparaison la plus proche est GPT-4o Mini, de OpenAI, à 0,29 $US le million contre 1,28 $US. 11 modèles de ce palier obtiennent un meilleur score en programmation et raisonnement combinés, et c'est le bon cadrage : la question est rarement de savoir si un modèle est bon, mais s'il est le moins cher parmi ceux qui sont assez bons pour le travail précis que vous lui envoyez.