MODELOS DE IA
COMPARATIVAS.

Las comparativas de IA son pruebas estandarizadas diseñadas para medir capacidades específicas de los modelos de lenguaje. Cada comparativa apunta a una habilidad diferente: conocimiento general, capacidad de programación, razonamiento científico o resolución de problemas matemáticos.

MMLU (Comprensión Masiva del Lenguaje Multitarea) abarca 57 materias y es una de las medidas más completas del conocimiento general. Una puntuación de 90+ se considera rendimiento de nivel experto.

HumanEval prueba la capacidad de programación mediante 164 problemas de Python. Los modelos deben generar código que supere pruebas unitarias — una señal sólida para asistentes de programación prácticos.

GPQA (Preguntas y Respuestas a Prueba de Google de Nivel Posgrado) contiene preguntas de biología, química y física escritas por expertos doctores y verificadas para resistir la búsqueda web. Representa una dificultad cercana a la de un experto humano.

MATH incluye problemas matemáticos de nivel competitivo de AMC, AIME y olimpiadas. Las altas puntuaciones en MATH se correlacionan con un razonamiento cuantitativo fiable en distintos dominios.

HellaSwag evalúa el razonamiento de sentido común mediante la compleción de oraciones. A pesar de parecer sencillo, resultó desafiante durante años antes de que los modelos frontera modernos lo dominaran.

Las comparativas proporcionan un vocabulario común para comparar modelos entre organizaciones. Sin ellas, cada proveedor podría definir «inteligente» a su manera. Las puntuaciones estandarizadas permiten a ingenieros, investigadores y compradores hacer comparaciones justas.

También rastrean el progreso a lo largo del tiempo. La mejora constante de MMLU del ~70% en 2022 al más del 92% actual cuantifica cuánto ha avanzado la IA frontera — un dato imposible de apreciar solo con textos de marketing.

Las puntuaciones de comparativas son necesarias pero no suficientes para la selección de modelos. Una alta puntuación en MMLU no garantiza un buen seguimiento de instrucciones. Una alta puntuación en HumanEval no garantiza generación de código segura. Las comparativas miden lo que miden, nada más.

La contaminación es una preocupación continua. Los modelos entrenados con datos de internet pueden haber visto preguntas de comparativas durante el entrenamiento, inflando las puntuaciones por encima de los niveles de capacidad reales. El campo está desarrollando activamente evaluaciones resistentes a la contaminación como GPQA.

Por último, el costo y la latencia importan en producción. Un modelo con 2 puntos más en MMLU pero 10 veces más caro rara vez es la elección correcta. Usa estas clasificaciones junto con los datos de precios de iOPTERA para tener una imagen completa.