Sécurité et Éthique
Injection de Prompt
L'injection de prompt survient quand des instructions dissimulées dans un document, une page web ou une saisie utilisateur tentent de supplanter le prompt système. C'est un risque sérieux pour les agents qui lisent du contenu externe et utilisent des outils. Il n'existe pas de solution complète : on la gère en limitant les droits, en validant les sorties et en exigeant une confirmation sur les opérations critiques.
Termes Associés
Système fondé sur un LLM qui agit de façon autonome pour atteindre un objectif.
Domaine visant à ce que les systèmes d'IA se comportent conformément aux valeurs humaines.
Bloc d'instructions envoyé avant la conversation, qui configure le comportement du modèle.
Rattacher les réponses du modèle à des sources réelles et vérifiées.