Arquitectura
Mezcla de Expertos (MoE)
Arquitectura en la que solo se activa una parte de los parámetros por token.
En una arquitectura de mezcla de expertos, el modelo se divide en muchas subredes «expertas» y para cada token solo se activan unas pocas. Así el número total de parámetros puede ser enorme mientras el coste de cómputo de una inferencia se mantiene bajo. Es una de las razones por las que los grandes modelos actuales pueden ser a la vez potentes y relativamente baratos.
Términos Relacionados
Transformer
La arquitectura de red neuronal en la que se basan prácticamente todos los LLM modernos.
Parámetro
Peso aprendible de una red neuronal; el tamaño del modelo se mide en miles de millones.
Inferencia
El proceso de ejecutar un modelo entrenado para generar salidas a partir de nuevas entradas.
Cuantización
Comprimir los pesos del modelo a menor precisión numérica para reducir memoria y coste.