Sicherheit und Ethik
Constitutional AI
Trainingsverfahren, bei dem das Modell eigene Ausgaben anhand schriftlicher Prinzipien kritisiert und korrigiert.
Bei diesem von Anthropic entwickelten Verfahren erhält das Modell eine Reihe schriftlicher Prinzipien – eine „Verfassung“ – und lernt, seine eigenen Antworten daran zu prüfen und neu zu schreiben. Das verringert den Bedarf an menschlicher Annotation und macht die Prinzipien, nach denen das Modell handelt, überprüfbar.
Verwandte Begriffe
RLHF (Bestärkendes Lernen aus menschlichem Feedback)
Trainingsverfahren, das Modellausgaben an menschlichen Präferenzen ausrichtet.
Alignment (Ausrichtung)
Fachgebiet, das KI-Systeme in Einklang mit menschlichen Werten bringen soll.
Instruction Tuning
Das Modell auf Paaren aus Anweisung und idealer Antwort trainieren, damit es Vorgaben befolgt.
KI-Sicherheit (AI Safety)
Disziplin, die KI-Systeme verlässlich nützlich und unschädlich machen soll.