Sécurité et Éthique
Alignement
Domaine visant à ce que les systèmes d'IA se comportent conformément aux valeurs humaines.
L'alignement cherche à ce qu'un modèle ne soit pas seulement capable mais se comporte comme attendu : être utile, ne pas nuire, être honnête. Le réglage par instructions, le RLHF et l'IA constitutionnelle en sont les principales techniques. Plus le modèle est puissant, plus cela compte.
Termes Associés
RLHF (Apprentissage par Renforcement à partir de Retours Humains)
Méthode d'entraînement alignant les sorties du modèle sur les préférences humaines.
IA Constitutionnelle
Méthode d'entraînement où le modèle critique et corrige ses propres sorties selon des principes écrits.
Injection de Prompt
Attaque où un texte malveillant présent dans l'environnement détourne les instructions du modèle.
Sécurité de l'IA
Discipline visant à ce que les systèmes d'IA soient fiablement bénéfiques.