Benchmarks
Perplejidad
Métrica de lo bien que un modelo predice un texto; cuanto más baja, mejor.
La perplejidad mide cuánto «se sorprende» el modelo ante el texto que ve. Un valor bajo significa que lo predice bien. Es útil para seguir el entrenamiento, pero no es un indicador directo de calidad para el usuario: una perplejidad baja no garantiza una respuesta útil.
Términos Relacionados
MMLU
Benchmark que mide conocimiento y razonamiento en 57 materias.
LLM (Modelo de Lenguaje Grande)
Red neuronal entrenada con enormes corpus de texto para generar lenguaje natural.
Preentrenamiento
La fase inicial de entrenamiento a gran escala en la que el modelo aprende el lenguaje.
Tokenizador
Algoritmo que convierte texto en bruto en una secuencia de tokens.