Conceptos Fundamentales
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.
La inferencia es lo que ocurre cada vez que llamas a una API de IA: el modelo toma tu prompt y produce una respuesta. A diferencia del entrenamiento, no modifica los pesos del modelo. Es el principal generador de coste en producción: pagas por cada token de inferencia, no por el entrenamiento del modelo.
Términos Relacionados
Rendimiento (Throughput)
Número de tokens o peticiones que un modelo puede procesar por segundo.
Latencia
El tiempo entre enviar una petición y recibir el primer token de la respuesta.
Streaming
Entregar la salida token a token según se genera, en vez de esperar a la respuesta completa.
Procesamiento por Lotes
Enviar peticiones de forma asíncrona y masiva a cambio de un 50% de descuento.