Entrenamiento
RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana)
Método de entrenamiento que alinea las salidas del modelo con las preferencias humanas.
En RLHF, personas comparan distintas respuestas del modelo e indican cuál prefieren; con esas preferencias se aprende un modelo de recompensa y el modelo principal se entrena para maximizarlo. Es la técnica principal que consigue que los modelos sean útiles, inofensivos y honestos.
Términos Relacionados
Alineamiento
Campo dedicado a que los sistemas de IA se comporten conforme a los valores humanos.
IA Constitucional
Método de entrenamiento en el que el modelo critica y corrige sus propias salidas según unos principios escritos.
Ajuste por Instrucciones
Entrenar el modelo con pares de instrucción y respuesta ideal para que sepa obedecer.
Seguridad de la IA
Disciplina dedicada a que los sistemas de IA sean fiablemente beneficiosos.