Conceptos Fundamentales
Streaming
Entregar la salida token a token según se genera, en vez de esperar a la respuesta completa.
El streaming envía cada token al cliente en cuanto se produce. No acorta el tiempo total, pero reduce drásticamente lo que tarda el usuario en ver la primera palabra: en una interfaz de chat, la velocidad percibida es exactamente eso. En salidas largas también evita que la petición expire.
Términos Relacionados
Latencia
El tiempo entre enviar una petición y recibir el primer token de la respuesta.
Rendimiento (Throughput)
Número de tokens o peticiones que un modelo puede procesar por segundo.
Completado
El texto que genera un modelo de lenguaje en respuesta a un prompt.
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.