Architecture
Milliards de Paramètres
Unité standard pour exprimer l'échelle d'un modèle.
Les mentions 7B, 70B ou 405B dans les noms de modèles indiquent des milliards de paramètres. Comme indicateur grossier, cela renvoie à la capacité, mais pris isolément c'est trompeur : un petit modèle bien entraîné dépasse aisément un grand modèle mal entraîné. Le nombre de paramètres détermine par ailleurs directement le matériel nécessaire.
Termes Associés
Paramètre
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.
LLM (Grand Modèle de Langage)
Réseau de neurones entraîné sur d'immenses corpus de texte pour générer du langage naturel.
Quantification
Compresser les poids du modèle vers une précision numérique plus faible pour réduire mémoire et coût.
Mélange d'Experts (MoE)
Architecture où seule une partie des paramètres est activée par token.