Architecture
Paramètre
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.
Un paramètre est une valeur numérique ajustée pendant l'entraînement, qui porte tout ce que le modèle a appris. La taille s'exprime généralement en milliards de paramètres. Davantage de paramètres signifie souvent davantage de capacités, mais la relation n'est pas linéaire : l'architecture et la qualité des données pèsent autant que la taille.
Termes Associés
LLM (Grand Modèle de Langage)
Réseau de neurones entraîné sur d'immenses corpus de texte pour générer du langage naturel.
Transformer
L'architecture de réseau de neurones sur laquelle reposent presque tous les LLM modernes.
Quantification
Compresser les poids du modèle vers une précision numérique plus faible pour réduire mémoire et coût.
Mélange d'Experts (MoE)
Architecture où seule une partie des paramètres est activée par token.