Architektur
Attention-Mechanismus
Die zentrale Operation in Transformern, mit der jedes Token alle anderen gewichtet.
Der Attention-Mechanismus berechnet beim Deuten eines Wortes, welche anderen Wörter des Satzes wie stark ins Gewicht fallen. Dadurch erkennt das Modell, worauf sich ein Pronomen bezieht. Sein Aufwand wächst quadratisch mit der Textlänge – das ist der technische Grund, warum sehr große Kontextfenster teuer sind.
Verwandte Begriffe
Transformer
Die neuronale Architektur, auf der praktisch alle modernen LLMs beruhen.
Kontextfenster
Die maximale Anzahl Tokens, die ein Modell in einer einzelnen Anfrage verarbeiten kann.
LLM (Großes Sprachmodell)
Neuronales Netz, das auf riesigen Textmengen trainiert wurde, um natürliche Sprache zu erzeugen.