Arquitectura
Cuantización
Comprimir los pesos del modelo a menor precisión numérica para reducir memoria y coste.
La cuantización convierte los pesos del modelo a formatos que usan menos bits (16, 8 o incluso 4). El modelo ocupa menos, necesita menos memoria y va más rápido, normalmente a cambio de una pérdida pequeña de calidad. Es la técnica que hace viable ejecutar modelos en tu propia infraestructura.
Términos Relacionados
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.
Rendimiento (Throughput)
Número de tokens o peticiones que un modelo puede procesar por segundo.
Latencia
El tiempo entre enviar una petición y recibir el primer token de la respuesta.
Parámetro
Peso aprendible de una red neuronal; el tamaño del modelo se mide en miles de millones.