Concepts Fondamentaux
Fenêtre de Contexte
Le nombre maximal de tokens qu'un modèle peut traiter en une seule requête.
La fenêtre de contexte définit la quantité de texte que le modèle peut « voir » d'un coup : votre prompt système, l'historique de conversation et les documents joints doivent y tenir. Une fenêtre large permet d'analyser de longs documents, mais chaque requête coûte plus cher puisque vous payez ce que vous y mettez. Les modèles actuels vont de 128K à 1M de tokens.
Termes Associés
Token (Jeton)
L'unité de base du texte que les modèles de langage traitent et facturent.
Prix d'Entrée
Coût par million de tokens pour ce que vous envoyez dans le prompt.
Streaming
Livrer la sortie token par token au fil de la génération plutôt qu'attendre la réponse complète.
RAG (Génération Augmentée par Récupération)
Enrichir les réponses en récupérant des documents pertinents depuis une source externe.