Architecture
Quantification
Compresser les poids du modèle vers une précision numérique plus faible pour réduire mémoire et coût.
La quantification convertit les poids du modèle vers des formats utilisant moins de bits (16, 8, voire 4). Le modèle occupe moins de place, demande moins de mémoire et va plus vite, au prix d'une perte de qualité généralement faible. C'est la technique qui rend viable l'exécution de modèles sur votre propre infrastructure.
Termes Associés
Inférence
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.
Débit (Throughput)
Nombre de tokens ou de requêtes qu'un modèle peut traiter par seconde.
Latence
Le délai entre l'envoi d'une requête et la réception du premier token de réponse.
Paramètre
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.