Arquitectura
Mecanismo de Atención
La operación central de los transformers que permite a cada token ponderar a todos los demás.
El mecanismo de atención calcula, al interpretar una palabra, cuáles del resto de palabras de la frase importan y cuánto. Gracias a él el modelo resuelve a qué se refiere un pronombre. Su coste crece con el cuadrado de la longitud del texto, y esa es la razón técnica de que las ventanas de contexto muy grandes salgan caras.
Términos Relacionados
Transformer
La arquitectura de red neuronal en la que se basan prácticamente todos los LLM modernos.
Ventana de Contexto
El número máximo de tokens que un modelo puede procesar en una sola petición.
LLM (Modelo de Lenguaje Grande)
Red neuronal entrenada con enormes corpus de texto para generar lenguaje natural.