Preise und Kosten
Stapelverarbeitung (Batch)
Anfragen gebündelt und asynchron senden und dafür 50 % Rabatt erhalten.
Die Stapelverarbeitung erlaubt es, Arbeit einzureihen, die keine sofortige Antwort braucht; der Anbieter verarbeitet sie bei freier Kapazität und gewährt üblicherweise 50 % Rabatt. Ideal für nächtliche Anreicherung, das Nacharbeiten von Beständen und Evaluierungsläufe. Für viele Teams spart das mehr als ein Modellwechsel.
Verwandte Begriffe
Eingabepreis
Kosten pro Million Tokens für das, was Sie im Prompt senden.
Ausgabepreis
Kosten pro Million Tokens, die das Modell erzeugt.
Durchsatz
Anzahl der Tokens oder Anfragen, die ein Modell pro Sekunde verarbeiten kann.
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.