Architecture
Transformer
L'architecture de réseau de neurones sur laquelle reposent presque tous les LLM modernes.
Le transformer, présenté en 2017, repose sur le mécanisme d'attention. Contrairement aux approches précédentes, il traite le texte en parallèle plutôt que séquentiellement, ce qui a rendu possible l'entraînement à très grande échelle. Tous les grands modèles de langage actuels en sont des variantes.
Termes Associés
Mécanisme d'Attention
L'opération centrale des transformers qui permet à chaque token de pondérer tous les autres.
LLM (Grand Modèle de Langage)
Réseau de neurones entraîné sur d'immenses corpus de texte pour générer du langage naturel.
Paramètre
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.
Pré-entraînement
La phase initiale d'entraînement à grande échelle où le modèle apprend la langue.