Training
Instruction Tuning
Das Modell auf Paaren aus Anweisung und idealer Antwort trainieren, damit es Vorgaben befolgt.
Instruction Tuning ist die Phase, die aus einem Textvorhersager einen Assistenten macht. Das Modell wird auf von Menschen geschriebenen Paaren aus Anweisung und Antwort trainiert, sodass es bei „fasse das zusammen“ tatsächlich zusammenfasst, statt den Text fortzusetzen. Alle Chat-Modelle, die Sie nutzen, haben diese Phase durchlaufen.
Verwandte Begriffe
Vortraining (Pre-Training)
Die anfängliche, großskalige Trainingsphase, in der das Modell Sprache lernt.
Feinabstimmung (Fine-Tuning)
Ein vortrainiertes Modell mit fachspezifischen Daten weitertrainieren.
RLHF (Bestärkendes Lernen aus menschlichem Feedback)
Trainingsverfahren, das Modellausgaben an menschlichen Präferenzen ausrichtet.
Constitutional AI
Trainingsverfahren, bei dem das Modell eigene Ausgaben anhand schriftlicher Prinzipien kritisiert und korrigiert.