Seguridad y Ética
IA Constitucional
Método de entrenamiento en el que el modelo critica y corrige sus propias salidas según unos principios escritos.
En este método desarrollado por Anthropic se le da al modelo un conjunto de principios escritos —una «constitución»— y aprende a criticar y reescribir sus propias respuestas conforme a ellos. Reduce la necesidad de etiquetado humano y hace auditables los principios según los cuales se comporta el modelo.
Términos Relacionados
RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana)
Método de entrenamiento que alinea las salidas del modelo con las preferencias humanas.
Alineamiento
Campo dedicado a que los sistemas de IA se comporten conforme a los valores humanos.
Ajuste por Instrucciones
Entrenar el modelo con pares de instrucción y respuesta ideal para que sepa obedecer.
Seguridad de la IA
Disciplina dedicada a que los sistemas de IA sean fiablemente beneficiosos.