Concepts Fondamentaux
Débit (Throughput)
Nombre de tokens ou de requêtes qu'un modèle peut traiter par seconde.
Le débit indique la quantité de travail que vous abattez à l'échelle. À ne pas confondre avec la latence : la latence est l'attente d'un seul utilisateur, le débit la capacité totale du système. Dans les traitements par lots et les pipelines de données, c'est la métrique qui compte vraiment.
Termes Associés
Latence
Le délai entre l'envoi d'une requête et la réception du premier token de réponse.
Traitement par Lots
Envoyer des requêtes en masse et de façon asynchrone contre 50 % de remise.
Inférence
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.
Quantification
Compresser les poids du modèle vers une précision numérique plus faible pour réduire mémoire et coût.