Benchmarks
HumanEval
Benchmark de programmation mesurant la capacité à écrire des fonctions Python correctes.
HumanEval vérifie par des tests automatiques si le modèle écrit correctement la fonction décrite dans l'énoncé. Il fut l'un des premiers indicateurs répandus de compétence en programmation. Aujourd'hui, les modèles y obtiennent des scores très élevés, d'où la montée d'épreuves comme SWE-bench, plus représentatives du travail réel.