Seguridad y Ética
Seguridad de la IA
Disciplina dedicada a que los sistemas de IA sean fiablemente beneficiosos.
La seguridad de la IA se ocupa de limitar el uso indebido de los modelos, reducir comportamientos imprevistos y hacer los sistemas auditables. Sus herramientas incluyen pruebas de red team, filtros de contenido, limitación de permisos y técnicas de alineamiento. Su importancia práctica crece rápido a medida que los agentes empiezan a actuar en el mundo real.
Términos Relacionados
Alineamiento
Campo dedicado a que los sistemas de IA se comporten conforme a los valores humanos.
IA Constitucional
Método de entrenamiento en el que el modelo critica y corrige sus propias salidas según unos principios escritos.
Inyección de Prompt
Ataque en el que texto malicioso del entorno anula las instrucciones del modelo.
RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana)
Método de entrenamiento que alinea las salidas del modelo con las preferencias humanas.