Sicherheit und Ethik

Alignment (Ausrichtung)

Fachgebiet, das KI-Systeme in Einklang mit menschlichen Werten bringen soll.

Alignment sorgt dafür, dass ein Modell nicht nur leistungsfähig ist, sondern sich auch wie erwartet verhält: hilfreich sein, nicht schaden, ehrlich sein. Instruction Tuning, RLHF und Constitutional AI sind die wichtigsten Techniken dafür. Je leistungsfähiger das Modell, desto wichtiger wird es.

Verwandte Begriffe

RLHF (Bestärkendes Lernen aus menschlichem Feedback)

Trainingsverfahren, das Modellausgaben an menschlichen Präferenzen ausrichtet.

Constitutional AI

Trainingsverfahren, bei dem das Modell eigene Ausgaben anhand schriftlicher Prinzipien kritisiert und korrigiert.

Prompt Injection

Angriff, bei dem bösartiger Text aus der Umgebung die Anweisungen des Modells überschreibt.

KI-Sicherheit (AI Safety)

Disziplin, die KI-Systeme verlässlich nützlich und unschädlich machen soll.