Sécurité et Éthique
Sécurité de l'IA
Discipline visant à ce que les systèmes d'IA soient fiablement bénéfiques.
La sécurité de l'IA s'attache à limiter les usages abusifs, à réduire les comportements imprévus et à rendre les systèmes auditables. Ses outils comprennent les tests d'équipe rouge, les filtres de contenu, la limitation des droits et les techniques d'alignement. Son importance pratique croît vite à mesure que les agents agissent dans le monde réel.
Termes Associés
Alignement
Domaine visant à ce que les systèmes d'IA se comportent conformément aux valeurs humaines.
IA Constitutionnelle
Méthode d'entraînement où le modèle critique et corrige ses propres sorties selon des principes écrits.
Injection de Prompt
Attaque où un texte malveillant présent dans l'environnement détourne les instructions du modèle.
RLHF (Apprentissage par Renforcement à partir de Retours Humains)
Méthode d'entraînement alignant les sorties du modèle sur les préférences humaines.