Concepts Fondamentaux
Inférence
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.
L'inférence, c'est ce qui se passe à chaque appel d'une API d'IA : le modèle prend votre prompt et produit une réponse. Contrairement à l'entraînement, elle ne modifie pas les poids du modèle. C'est le principal poste de coût en production : vous payez chaque token d'inférence, pas l'entraînement du modèle.
Termes Associés
Débit (Throughput)
Nombre de tokens ou de requêtes qu'un modèle peut traiter par seconde.
Latence
Le délai entre l'envoi d'une requête et la réception du premier token de réponse.
Streaming
Livrer la sortie token par token au fil de la génération plutôt qu'attendre la réponse complète.
Traitement par Lots
Envoyer des requêtes en masse et de façon asynchrone contre 50 % de remise.