Arquitectura
Miles de Millones de Parámetros
Unidad estándar para expresar la escala de un modelo.
Las cifras 7B, 70B o 405B de los nombres de modelo indican miles de millones de parámetros. Como indicador aproximado se relaciona con la capacidad, pero por sí sola engaña: un modelo pequeño bien entrenado supera con facilidad a uno grande mal entrenado. Además, el número de parámetros determina directamente el hardware necesario.
Términos Relacionados
Parámetro
Peso aprendible de una red neuronal; el tamaño del modelo se mide en miles de millones.
LLM (Modelo de Lenguaje Grande)
Red neuronal entrenada con enormes corpus de texto para generar lenguaje natural.
Cuantización
Comprimir los pesos del modelo a menor precisión numérica para reducir memoria y coste.
Mezcla de Expertos (MoE)
Arquitectura en la que solo se activa una parte de los parámetros por token.