Concepts Fondamentaux
Streaming
Livrer la sortie token par token au fil de la génération plutôt qu'attendre la réponse complète.
Le streaming transmet chaque token au client dès qu'il est produit. Cela ne raccourcit pas la durée totale, mais réduit fortement le temps avant que l'utilisateur voie le premier mot : dans une interface de chat, la vitesse ressentie tient entièrement à cela. Sur les longues sorties, cela évite aussi l'expiration de la requête.
Termes Associés
Latence
Le délai entre l'envoi d'une requête et la réception du premier token de réponse.
Débit (Throughput)
Nombre de tokens ou de requêtes qu'un modèle peut traiter par seconde.
Complétion
Le texte produit par un modèle de langage en réponse à un prompt.
Inférence
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.