Grundkonzepte
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.
Inferenz ist das, was bei jedem Aufruf einer KI-API passiert: Das Modell nimmt Ihren Prompt und erzeugt eine Antwort. Anders als beim Training ändern sich dabei keine Gewichte. Sie ist der wichtigste Kostentreiber im Produktivbetrieb – bezahlt wird jedes Inferenz-Token, nicht das Training des Modells.
Verwandte Begriffe
Durchsatz
Anzahl der Tokens oder Anfragen, die ein Modell pro Sekunde verarbeiten kann.
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.
Streaming
Die Ausgabe Token für Token ausliefern, während sie entsteht, statt auf die vollständige Antwort zu warten.
Stapelverarbeitung (Batch)
Anfragen gebündelt und asynchron senden und dafür 50 % Rabatt erhalten.