Arquitectura
Modelo de Razonamiento
Variante de modelo que piensa paso a paso de forma explícita antes de responder.
Los modelos de razonamiento pasan por una fase de «pensamiento», oculta o resumida, antes de emitir la respuesta. Rinden claramente mejor en matemáticas, código y problemas de varios pasos. El precio es velocidad y coste: los pasos de pensamiento también se facturan como tokens de salida, así que usarlos para tareas simples es malgastar dinero.
Términos Relacionados
Cadena de Pensamiento
Técnica que pide al modelo razonar paso a paso antes de responder.
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.
Latencia
El tiempo entre enviar una petición y recibir el primer token de la respuesta.
MMLU
Benchmark que mide conocimiento y razonamiento en 57 materias.