Architektur
Quantisierung
Modellgewichte auf geringere numerische Genauigkeit komprimieren, um Speicher und Kosten zu senken.
Die Quantisierung überführt die Gewichte eines Modells in Formate mit weniger Bits (16, 8 oder sogar 4). Das Modell wird kleiner, braucht weniger Speicher und läuft schneller – meist gegen einen geringen Qualitätsverlust. Sie ist die Technik, die den Betrieb von Modellen auf eigener Infrastruktur praktikabel macht.
Verwandte Begriffe
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.
Durchsatz
Anzahl der Tokens oder Anfragen, die ein Modell pro Sekunde verarbeiten kann.
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.
Parameter
Lernbares Gewicht in einem neuronalen Netz; die Modellgröße wird in Milliarden gemessen.