Architektur
Transformer
Die neuronale Architektur, auf der praktisch alle modernen LLMs beruhen.
Der 2017 vorgestellte Transformer baut auf dem Attention-Mechanismus auf. Anders als frühere Ansätze verarbeitet er Text parallel statt sequenziell, was Training in sehr großem Maßstab erst möglich machte. Alle heutigen großen Sprachmodelle sind Varianten dieser Architektur.
Verwandte Begriffe
Attention-Mechanismus
Die zentrale Operation in Transformern, mit der jedes Token alle anderen gewichtet.
LLM (Großes Sprachmodell)
Neuronales Netz, das auf riesigen Textmengen trainiert wurde, um natürliche Sprache zu erzeugen.
Parameter
Lernbares Gewicht in einem neuronalen Netz; die Modellgröße wird in Milliarden gemessen.
Vortraining (Pre-Training)
Die anfängliche, großskalige Trainingsphase, in der das Modell Sprache lernt.