Grundkonzepte
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.
Latenz ist das, worauf der Nutzer wartet. In Chat, Autovervollständigung und interaktiven Werkzeugen entscheidet sie alles, bei nächtlichen Stapelverarbeitungen fast nichts. Diese Unterscheidung zählt: Bei Hintergrundarbeit ist es meist richtig, Latenz gegen Leistungsfähigkeit zu tauschen, in einem interaktiven Produkt nicht.
Verwandte Begriffe
Durchsatz
Anzahl der Tokens oder Anfragen, die ein Modell pro Sekunde verarbeiten kann.
Streaming
Die Ausgabe Token für Token ausliefern, während sie entsteht, statt auf die vollständige Antwort zu warten.
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.
Quantisierung
Modellgewichte auf geringere numerische Genauigkeit komprimieren, um Speicher und Kosten zu senken.