Entrenamiento
Preentrenamiento
La fase inicial de entrenamiento a gran escala en la que el modelo aprende el lenguaje.
El preentrenamiento es la etapa en la que el modelo aprende a predecir el siguiente token sobre cantidades enormes de texto. Es la parte que dura meses y cuesta millones en cómputo. Ahí se forman el conocimiento general del mundo y la competencia lingüística del modelo; las fases posteriores solo moldean esa base.
Términos Relacionados
Modelo Fundacional
Modelo preentrenado a gran escala que sirve de base para muchas aplicaciones.
Ajuste Fino (Fine-Tuning)
Seguir entrenando un modelo preentrenado con datos de un dominio concreto.
Ajuste por Instrucciones
Entrenar el modelo con pares de instrucción y respuesta ideal para que sepa obedecer.
Parámetro
Peso aprendible de una red neuronal; el tamaño del modelo se mide en miles de millones.