Architecture
Mécanisme d'Attention
L'opération centrale des transformers qui permet à chaque token de pondérer tous les autres.
Le mécanisme d'attention calcule, lors de l'interprétation d'un mot, quels autres mots de la phrase comptent et dans quelle mesure. C'est grâce à lui que le modèle détermine à quoi renvoie un pronom. Son coût croît avec le carré de la longueur du texte : c'est la raison technique pour laquelle les très grandes fenêtres de contexte coûtent cher.
Termes Associés
Transformer
L'architecture de réseau de neurones sur laquelle reposent presque tous les LLM modernes.
Fenêtre de Contexte
Le nombre maximal de tokens qu'un modèle peut traiter en une seule requête.
LLM (Grand Modèle de Langage)
Réseau de neurones entraîné sur d'immenses corpus de texte pour générer du langage naturel.