Grundkonzepte
Streaming
Die Ausgabe Token für Token ausliefern, während sie entsteht, statt auf die vollständige Antwort zu warten.
Beim Streaming wird jedes Token sofort nach seiner Erzeugung an den Client gesendet. Die Gesamtdauer verkürzt sich dadurch nicht, wohl aber die Zeit bis zum ersten sichtbaren Wort – in einer Chat-Oberfläche besteht die gefühlte Geschwindigkeit genau darin. Bei langen Ausgaben verhindert es zudem Zeitüberschreitungen.
Verwandte Begriffe
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.
Durchsatz
Anzahl der Tokens oder Anfragen, die ein Modell pro Sekunde verarbeiten kann.
Completion (Vervollständigung)
Der Text, den ein Sprachmodell als Antwort auf einen Prompt erzeugt.
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.