Arquitectura
Transformer
La arquitectura de red neuronal en la que se basan prácticamente todos los LLM modernos.
El transformer, presentado en 2017, se apoya en el mecanismo de atención. A diferencia de los enfoques anteriores procesa el texto en paralelo y no de forma secuencial, lo que hizo posible entrenar a escalas enormes. Todos los grandes modelos de lenguaje actuales son variantes de esta arquitectura.
Términos Relacionados
Mecanismo de Atención
La operación central de los transformers que permite a cada token ponderar a todos los demás.
LLM (Modelo de Lenguaje Grande)
Red neuronal entrenada con enormes corpus de texto para generar lenguaje natural.
Parámetro
Peso aprendible de una red neuronal; el tamaño del modelo se mide en miles de millones.
Preentrenamiento
La fase inicial de entrenamiento a gran escala en la que el modelo aprende el lenguaje.