Architektur
Parameter
Lernbares Gewicht in einem neuronalen Netz; die Modellgröße wird in Milliarden gemessen.
Ein Parameter ist ein Zahlenwert, der beim Training angepasst wird und alles trägt, was das Modell gelernt hat. Die Größe wird üblicherweise in Milliarden Parametern angegeben. Mehr Parameter bedeuten oft mehr Fähigkeiten, doch der Zusammenhang ist nicht linear: Architektur und Datenqualität wiegen ebenso schwer wie die Größe.
Verwandte Begriffe
LLM (Großes Sprachmodell)
Neuronales Netz, das auf riesigen Textmengen trainiert wurde, um natürliche Sprache zu erzeugen.
Transformer
Die neuronale Architektur, auf der praktisch alle modernen LLMs beruhen.
Quantisierung
Modellgewichte auf geringere numerische Genauigkeit komprimieren, um Speicher und Kosten zu senken.
Mixture of Experts (MoE)
Architektur, bei der pro Token nur ein Teil der Parameter aktiviert wird.