Grundkonzepte
Durchsatz
Anzahl der Tokens oder Anfragen, die ein Modell pro Sekunde verarbeiten kann.
Der Durchsatz zeigt, wie viel Arbeit Sie im großen Maßstab bewältigen. Nicht zu verwechseln mit der Latenz: Latenz ist die Wartezeit eines einzelnen Nutzers, Durchsatz die Gesamtkapazität des Systems. Bei Stapelverarbeitung und Datenpipelines ist das die eigentlich relevante Kennzahl.
Verwandte Begriffe
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.
Stapelverarbeitung (Batch)
Anfragen gebündelt und asynchron senden und dafür 50 % Rabatt erhalten.
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.
Quantisierung
Modellgewichte auf geringere numerische Genauigkeit komprimieren, um Speicher und Kosten zu senken.