Concepts Fondamentaux
Latence
Le délai entre l'envoi d'une requête et la réception du premier token de réponse.
La latence, c'est l'attente de l'utilisateur. Elle décide de tout en chat, en autocomplétion et dans les outils interactifs, et de presque rien dans les traitements par lots nocturnes. Cette distinction compte : sur du travail de fond, échanger de la latence contre de la capacité est généralement le bon choix ; dans un produit interactif, non.
Termes Associés
Débit (Throughput)
Nombre de tokens ou de requêtes qu'un modèle peut traiter par seconde.
Streaming
Livrer la sortie token par token au fil de la génération plutôt qu'attendre la réponse complète.
Inférence
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.
Quantification
Compresser les poids du modèle vers une précision numérique plus faible pour réduire mémoire et coût.