Benchmarks
HumanEval
Benchmark de programación que mide la capacidad de escribir funciones correctas en Python.
HumanEval comprueba con tests automáticos si el modelo escribe correctamente la función descrita en el enunciado. Fue uno de los primeros indicadores extendidos de capacidad de programación. Hoy los modelos puntúan muy alto, por lo que han ganado protagonismo pruebas como SWE-bench, más representativas del trabajo real.