Architecture
Mélange d'Experts (MoE)
Dans une architecture à mélange d'experts, le modèle est découpé en de nombreux sous-réseaux « experts » et seuls quelques-uns s'activent pour chaque token. Le nombre total de paramètres peut donc être énorme tandis que le coût de calcul d'une inférence reste faible. C'est l'une des raisons pour lesquelles les grands modèles actuels sont à la fois puissants et relativement abordables.
Termes Associés
L'architecture de réseau de neurones sur laquelle reposent presque tous les LLM modernes.
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.
Compresser les poids du modèle vers une précision numérique plus faible pour réduire mémoire et coût.