Architektur
Mixture of Experts (MoE)
Architektur, bei der pro Token nur ein Teil der Parameter aktiviert wird.
In einer Mixture-of-Experts-Architektur ist das Modell in viele „Experten“-Teilnetze zerlegt, von denen pro Token nur wenige aktiv werden. Die Gesamtzahl der Parameter kann so gewaltig sein, während der Rechenaufwand einer einzelnen Inferenz gering bleibt. Das ist einer der Gründe, warum heutige Großmodelle zugleich leistungsfähig und vergleichsweise günstig sein können.
Verwandte Begriffe
Transformer
Die neuronale Architektur, auf der praktisch alle modernen LLMs beruhen.
Parameter
Lernbares Gewicht in einem neuronalen Netz; die Modellgröße wird in Milliarden gemessen.
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.
Quantisierung
Modellgewichte auf geringere numerische Genauigkeit komprimieren, um Speicher und Kosten zu senken.