Conceptos Fundamentales
Latencia
El tiempo entre enviar una petición y recibir el primer token de la respuesta.
La latencia es lo que el usuario espera. Lo decide todo en chat, autocompletado y herramientas interactivas, y casi nada en procesos por lotes nocturnos. Esa distinción importa: en trabajo de fondo, cambiar latencia por capacidad suele ser lo correcto; en un producto interactivo, no.
Términos Relacionados
Rendimiento (Throughput)
Número de tokens o peticiones que un modelo puede procesar por segundo.
Streaming
Entregar la salida token a token según se genera, en vez de esperar a la respuesta completa.
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.
Cuantización
Comprimir los pesos del modelo a menor precisión numérica para reducir memoria y coste.