Preise und Kosten
Kontext-Caching
Anbieterfunktion, die einen wiederverwendbaren Präfix speichert, um ihn nicht erneut voll zu berechnen.
Kontext-Caching speichert auf Anbieterseite den Teil, der sich in jeder Anfrage identisch wiederholt (langer System-Prompt, festes Dokument, Werkzeugdefinitionen), und berechnet ihn in Folgeanfragen vergünstigt, oft zu einem Zehntel. Es funktioniert über Präfix-Übereinstimmung: Ändert sich am Anfang ein einziges Zeichen, verfällt alles Nachfolgende. Deshalb gehört variabler Inhalt ans Ende des Prompts.
Verwandte Begriffe
Eingabepreis
Kosten pro Million Tokens für das, was Sie im Prompt senden.
System-Prompt
Anweisungsblock vor dem Gespräch, der das Verhalten des Modells konfiguriert.
Token
Die Grundeinheit des Textes, die Sprachmodelle verarbeiten und nach der abgerechnet wird.
RAG (Retrieval-Augmented Generation)
Antworten anreichern, indem passende Dokumente aus einer externen Quelle geholt werden.