Concepts Fondamentaux
Complétion
Le texte produit par un modèle de langage en réponse à un prompt.
La complétion est la réponse du modèle à votre entrée. Côté API, ce sont des tokens de sortie, généralement 2 à 5 fois plus chers que ceux d'entrée, car générer demande bien plus de calcul que lire. La longueur de la réponse détermine directement votre coût de sortie : demander de la concision fait économiser réellement.
Termes Associés
Token (Jeton)
L'unité de base du texte que les modèles de langage traitent et facturent.
Prix de Sortie
Coût par million de tokens produits par le modèle.
Streaming
Livrer la sortie token par token au fil de la génération plutôt qu'attendre la réponse complète.
Prompt Système
Bloc d'instructions envoyé avant la conversation, qui configure le comportement du modèle.