Entraînement
Pré-entraînement
La phase initiale d'entraînement à grande échelle où le modèle apprend la langue.
Le pré-entraînement est l'étape où le modèle apprend à prédire le token suivant sur d'immenses volumes de texte. C'est la partie qui dure des mois et coûte des millions en calcul. Les connaissances générales et la compétence linguistique du modèle s'y forment ; les phases suivantes ne font que façonner cette base.
Termes Associés
Modèle de Fondation
Grand modèle pré-entraîné servant de base à de nombreuses applications.
Affinage (Fine-Tuning)
Poursuivre l'entraînement d'un modèle pré-entraîné sur des données d'un domaine précis.
Réglage par Instructions
Entraîner le modèle sur des paires instruction / réponse idéale pour qu'il suive les consignes.
Paramètre
Poids apprenable d'un réseau de neurones ; la taille d'un modèle se mesure en milliards.