Conceptos Fundamentales
Rendimiento (Throughput)
Número de tokens o peticiones que un modelo puede procesar por segundo.
El rendimiento indica cuánto trabajo sacas a escala. No hay que confundirlo con la latencia: la latencia es la espera de un solo usuario, el rendimiento es la capacidad total del sistema. En procesos por lotes y canalizaciones de datos, es la métrica que de verdad importa.
Términos Relacionados
Latencia
El tiempo entre enviar una petición y recibir el primer token de la respuesta.
Procesamiento por Lotes
Enviar peticiones de forma asíncrona y masiva a cambio de un 50% de descuento.
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.
Cuantización
Comprimir los pesos del modelo a menor precisión numérica para reducir memoria y coste.