Training
Vortraining (Pre-Training)
Die anfängliche, großskalige Trainingsphase, in der das Modell Sprache lernt.
Im Vortraining lernt das Modell auf gewaltigen Textmengen, das nächste Token vorherzusagen. Das ist der Teil, der Monate dauert und Millionen an Rechenleistung kostet. Hier entstehen das Weltwissen und die Sprachfähigkeit des Modells; die späteren Phasen formen diese Grundlage nur noch.
Verwandte Begriffe
Basismodell (Foundation Model)
Großes vortrainiertes Modell, das als Grundlage für viele Anwendungen dient.
Feinabstimmung (Fine-Tuning)
Ein vortrainiertes Modell mit fachspezifischen Daten weitertrainieren.
Instruction Tuning
Das Modell auf Paaren aus Anweisung und idealer Antwort trainieren, damit es Vorgaben befolgt.
Parameter
Lernbares Gewicht in einem neuronalen Netz; die Modellgröße wird in Milliarden gemessen.