Benchmarks
HumanEval
Programmier-Benchmark, der das Schreiben korrekter Python-Funktionen misst.
HumanEval prüft mit automatischen Tests, ob das Modell die in der Aufgabenstellung beschriebene Funktion korrekt schreibt. Er war einer der ersten verbreiteten Maßstäbe für Programmierfähigkeit. Heute erzielen Modelle sehr hohe Werte, weshalb Prüfungen wie SWE-bench in den Vordergrund gerückt sind, die die reale Arbeit besser abbilden.