Sécurité et Éthique
IA Constitutionnelle
Méthode d'entraînement où le modèle critique et corrige ses propres sorties selon des principes écrits.
Dans cette méthode développée par Anthropic, on fournit au modèle un ensemble de principes écrits — une « constitution » — et il apprend à critiquer puis réécrire ses propres réponses en conséquence. Elle réduit le besoin d'annotation humaine et rend auditables les principes qui guident le comportement du modèle.
Termes Associés
RLHF (Apprentissage par Renforcement à partir de Retours Humains)
Méthode d'entraînement alignant les sorties du modèle sur les préférences humaines.
Alignement
Domaine visant à ce que les systèmes d'IA se comportent conformément aux valeurs humaines.
Réglage par Instructions
Entraîner le modèle sur des paires instruction / réponse idéale pour qu'il suive les consignes.
Sécurité de l'IA
Discipline visant à ce que les systèmes d'IA soient fiablement bénéfiques.