Conceptos Fundamentales
Ventana de Contexto
El número máximo de tokens que un modelo puede procesar en una sola petición.
La ventana de contexto define cuánto texto puede «ver» el modelo a la vez: tu prompt de sistema, el historial de conversación y los documentos adjuntos deben caber en ella. Una ventana amplia permite analizar documentos largos, pero cada petición cuesta más porque pagas por lo que metes dentro. Los modelos actuales van de 128K a 1M de tokens.
Términos Relacionados
Token
La unidad básica de texto que los modelos de lenguaje procesan y facturan.
Precio de Entrada
Coste por millón de tokens de los que envías en el prompt.
Streaming
Entregar la salida token a token según se genera, en vez de esperar a la respuesta completa.
RAG (Generación Aumentada por Recuperación)
Enriquecer las respuestas recuperando documentos relevantes de una fuente externa.