Seguridad y Ética
Alineamiento
Campo dedicado a que los sistemas de IA se comporten conforme a los valores humanos.
El alineamiento se ocupa de que un modelo no solo sea capaz, sino que además actúe como se espera: ser útil, no causar daño y ser honesto. El ajuste por instrucciones, RLHF y la IA constitucional son sus técnicas principales. Cuanto más potente es el modelo, más importa.
Términos Relacionados
RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana)
Método de entrenamiento que alinea las salidas del modelo con las preferencias humanas.
IA Constitucional
Método de entrenamiento en el que el modelo critica y corrige sus propias salidas según unos principios escritos.
Inyección de Prompt
Ataque en el que texto malicioso del entorno anula las instrucciones del modelo.
Seguridad de la IA
Disciplina dedicada a que los sistemas de IA sean fiablemente beneficiosos.