Concepts Fondamentaux
LLM (Grand Modèle de Langage)
Réseau de neurones entraîné sur d'immenses corpus de texte pour générer du langage naturel.
Un Large Language Model est un réseau de neurones fondé sur l'architecture transformer, doté de milliards de paramètres et entraîné sur du texte à l'échelle d'internet. Il apprend une seule chose : prédire le token suivant. De cet objectif simple émergent le raisonnement, la programmation, la traduction et l'écriture créative. GPT, Claude et Gemini sont des LLM.
Termes Associés
Transformer
L'architecture de réseau de neurones sur laquelle reposent presque tous les LLM modernes.
Modèle de Fondation
Grand modèle pré-entraîné servant de base à de nombreuses applications.
Paramètre
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.
Pré-entraînement
La phase initiale d'entraînement à grande échelle où le modèle apprend la langue.