Llama 3.1 405B

Sur un mélange typique de 70 % d'entrée et 30 % de sortie, Llama 3.1 405B revient à 2.70 $ le million de tokens. Cela le place au-dessus de 47 % des 32 modèles suivis ici, et 1 autres modèles du même palier fleuron passent en dessous. Le palier est une étiquette de capacité, pas une tranche de prix : l'écart à l'intérieur d'un palier est souvent plus large qu'entre paliers, et c'est pourquoi choisir au palier seul fait généralement dépenser trop.

L'entrée coûte 2.70 $ le million et la sortie 2.70 $, soit un rapport de 1.0x. Ce rapport compte plus que chacun des deux chiffres pris isolément : une charge de résumé ou de classification lit bien plus qu'elle n'écrit et suivra le prix d'entrée, tandis que la génération de code ou la rédaction longue inverse la chose et suivra celui de sortie. Comparez les modèles sur le rapport qu'a réellement votre trafic, pas sur le seul prix d'entrée.

Le profil de benchmarks est étonnamment plat : programmation mène à 88/100, mais seuls 2 points séparent la catégorie la plus forte de la plus faible. Cela fait de Llama 3.1 405B un choix par défaut sûr pour des charges mixtes où l'on ne peut pas prévoir quelle capacité chaque requête sollicitera, et un mauvais choix s'il vous faut un spécialiste.

La fenêtre de contexte est de 128K tokens et le score de débit de 65/100. Le contexte ne se justifie que si vous le remplissez, et le remplir est précisément ce qui rend une requête coûteuse : une grande fenêtre est une option, pas une remise. Pour un modèle de palier fleuron, jugez la vitesse selon votre usage : elle décide de tout en chat interactif et de presque rien en traitement par lots nocturne.

À vérifier avant de vous engager : DeepSeek V3 obtient au moins aussi bien en programmation et raisonnement combinés et revient à 0.32 $ le million contre 2.70 $ pour Llama 3.1 405B. Cela ne fait pas de Llama 3.1 405B un mauvais choix — fenêtre de contexte, latence, dépendance au fournisseur et capacités spécifiques échappent à un score de benchmark — mais cela signifie que l'écart de prix doit avoir une raison derrière lui.

La comparaison la plus proche est Claude 3 Opus, de Anthropic, à 33.00 $ le million contre 2.70 $. 6 modèles de ce palier obtiennent un meilleur score en programmation et raisonnement combinés, et c'est le bon cadrage : la question est rarement de savoir si un modèle est bon, mais s'il est le moins cher parmi ceux qui sont assez bons pour le travail précis que vous lui envoyez.