Training
RLHF (Bestärkendes Lernen aus menschlichem Feedback)
Trainingsverfahren, das Modellausgaben an menschlichen Präferenzen ausrichtet.
Beim RLHF vergleichen Menschen verschiedene Antworten des Modells und markieren die bevorzugte; aus diesen Präferenzen wird ein Belohnungsmodell gelernt, das das Hauptmodell dann zu maximieren trainiert wird. Es ist die zentrale Technik dafür, dass Modelle hilfreich, harmlos und ehrlich auftreten.
Verwandte Begriffe
Alignment (Ausrichtung)
Fachgebiet, das KI-Systeme in Einklang mit menschlichen Werten bringen soll.
Constitutional AI
Trainingsverfahren, bei dem das Modell eigene Ausgaben anhand schriftlicher Prinzipien kritisiert und korrigiert.
Instruction Tuning
Das Modell auf Paaren aus Anweisung und idealer Antwort trainieren, damit es Vorgaben befolgt.
KI-Sicherheit (AI Safety)
Disziplin, die KI-Systeme verlässlich nützlich und unschädlich machen soll.