Benchmarks

MMLU

Benchmark que mide conocimiento y razonamiento en 57 materias.

MMLU (Massive Multitask Language Understanding) consta de preguntas tipo test en 57 áreas, de historia a derecho y de matemáticas a medicina. Durante mucho tiempo fue el estándar para comparar el conocimiento general de los modelos. Los modelos actuales rozan el techo, así que ha perdido poder discriminante y lo han sustituido pruebas más duras como MMLU-Pro y GPQA.

Términos Relacionados

HumanEval

Benchmark de programación que mide la capacidad de escribir funciones correctas en Python.

Perplejidad

Métrica de lo bien que un modelo predice un texto; cuanto más baja, mejor.

LLM (Modelo de Lenguaje Grande)

Red neuronal entrenada con enormes corpus de texto para generar lenguaje natural.