Architektur
Milliarden Parameter
Die übliche Einheit zur Angabe der Modellgröße.
Angaben wie 7B, 70B oder 405B in Modellnamen stehen für Milliarden Parameter. Als grober Anhaltspunkt hängt das mit der Leistungsfähigkeit zusammen, für sich genommen ist es aber irreführend: Ein gut trainiertes kleines Modell übertrifft ein schlecht trainiertes großes mühelos. Zudem bestimmt die Parameterzahl unmittelbar den Hardwarebedarf.
Verwandte Begriffe
Parameter
Lernbares Gewicht in einem neuronalen Netz; die Modellgröße wird in Milliarden gemessen.
LLM (Großes Sprachmodell)
Neuronales Netz, das auf riesigen Textmengen trainiert wurde, um natürliche Sprache zu erzeugen.
Quantisierung
Modellgewichte auf geringere numerische Genauigkeit komprimieren, um Speicher und Kosten zu senken.
Mixture of Experts (MoE)
Architektur, bei der pro Token nur ein Teil der Parameter aktiviert wird.