Precios y Costos
Caché de Contexto
Función del proveedor que guarda un prefijo reutilizable para no volver a cobrarlo entero.
La caché de contexto almacena en el lado del proveedor la parte que se repite idéntica en cada petición (prompt de sistema largo, documento fijo, definiciones de herramientas) y la cobra con descuento en las siguientes, normalmente a una décima parte. Funciona por coincidencia de prefijo: si cambia un solo carácter al principio, se invalida todo lo posterior. Por eso el contenido variable va al final del prompt.
Términos Relacionados
Precio de Entrada
Coste por millón de tokens de los que envías en el prompt.
Prompt de Sistema
Bloque de instrucciones enviado antes de la conversación que configura el comportamiento del modelo.
Token
La unidad básica de texto que los modelos de lenguaje procesan y facturan.
RAG (Generación Aumentada por Recuperación)
Enriquecer las respuestas recuperando documentos relevantes de una fuente externa.