Sicherheit und Ethik
Prompt Injection
Angriff, bei dem bösartiger Text aus der Umgebung die Anweisungen des Modells überschreibt.
Prompt Injection tritt auf, wenn in einem Dokument, einer Webseite oder einer Nutzereingabe versteckte Anweisungen versuchen, den System-Prompt außer Kraft zu setzen. Für Agenten, die externe Inhalte lesen und Werkzeuge nutzen, ist das ein ernstes Sicherheitsrisiko. Eine vollständige Lösung gibt es nicht: Man begrenzt Rechte, prüft Ausgaben und verlangt bei kritischen Vorgängen eine Bestätigung.
Verwandte Begriffe
KI-Agent
LLM-basiertes System, das eigenständig auf ein Ziel hinarbeitet.
Alignment (Ausrichtung)
Fachgebiet, das KI-Systeme in Einklang mit menschlichen Werten bringen soll.
System-Prompt
Anweisungsblock vor dem Gespräch, der das Verhalten des Modells konfiguriert.
Grounding (Verankerung)
Modellantworten an geprüfte, reale Quellen binden.