Benchmarks
MMLU
Benchmark mesurant connaissances et raisonnement sur 57 matières.
MMLU (Massive Multitask Language Understanding) réunit des questions à choix multiples dans 57 domaines, de l'histoire au droit et des mathématiques à la médecine. Il a longtemps servi de référence pour comparer les connaissances générales des modèles. Les modèles actuels y frôlent le plafond : son pouvoir discriminant a diminué, au profit d'épreuves plus dures comme MMLU-Pro et GPQA.
Termes Associés
HumanEval
Benchmark de programmation mesurant la capacité à écrire des fonctions Python correctes.
Perplexité
Mesure de la capacité d'un modèle à prédire un texte ; plus elle est basse, mieux c'est.
LLM (Grand Modèle de Langage)
Réseau de neurones entraîné sur d'immenses corpus de texte pour générer du langage naturel.