Sicherheit und Ethik
KI-Sicherheit (AI Safety)
Disziplin, die KI-Systeme verlässlich nützlich und unschädlich machen soll.
KI-Sicherheit befasst sich damit, Missbrauch zu begrenzen, unvorhergesehenes Verhalten zu verringern und Systeme überprüfbar zu machen. Zu ihren Mitteln zählen Red-Team-Tests, Inhaltsfilter, Rechtebegrenzung und Alignment-Techniken. Ihre praktische Bedeutung wächst rasch, je mehr Agenten in der realen Welt handeln.
Verwandte Begriffe
Alignment (Ausrichtung)
Fachgebiet, das KI-Systeme in Einklang mit menschlichen Werten bringen soll.
Constitutional AI
Trainingsverfahren, bei dem das Modell eigene Ausgaben anhand schriftlicher Prinzipien kritisiert und korrigiert.
Prompt Injection
Angriff, bei dem bösartiger Text aus der Umgebung die Anweisungen des Modells überschreibt.
RLHF (Bestärkendes Lernen aus menschlichem Feedback)
Trainingsverfahren, das Modellausgaben an menschlichen Präferenzen ausrichtet.