Arquitectura
Parámetro
Peso aprendible de una red neuronal; el tamaño del modelo se mide en miles de millones.
Un parámetro es un valor numérico que se ajusta durante el entrenamiento y que contiene todo lo que el modelo ha aprendido. El tamaño suele expresarse en miles de millones de parámetros. Más parámetros suelen implicar más capacidad, pero la relación no es lineal: la arquitectura y la calidad de los datos pesan tanto como el tamaño.
Términos Relacionados
LLM (Modelo de Lenguaje Grande)
Red neuronal entrenada con enormes corpus de texto para generar lenguaje natural.
Transformer
La arquitectura de red neuronal en la que se basan prácticamente todos los LLM modernos.
Cuantización
Comprimir los pesos del modelo a menor precisión numérica para reducir memoria y coste.
Mezcla de Expertos (MoE)
Arquitectura en la que solo se activa una parte de los parámetros por token.