Grundkonzepte
Kontextfenster
Die maximale Anzahl Tokens, die ein Modell in einer einzelnen Anfrage verarbeiten kann.
Das Kontextfenster bestimmt, wie viel Text das Modell auf einmal „sehen“ kann: System-Prompt, Gesprächsverlauf und beigefügte Dokumente müssen hineinpassen. Ein großes Fenster ermöglicht die Analyse langer Dokumente, kostet aber pro Anfrage mehr, weil Sie bezahlen, was Sie hineinlegen. Aktuelle Modelle reichen von 128K bis 1M Tokens.
Verwandte Begriffe
Token
Die Grundeinheit des Textes, die Sprachmodelle verarbeiten und nach der abgerechnet wird.
Eingabepreis
Kosten pro Million Tokens für das, was Sie im Prompt senden.
Streaming
Die Ausgabe Token für Token ausliefern, während sie entsteht, statt auf die vollständige Antwort zu warten.
RAG (Retrieval-Augmented Generation)
Antworten anreichern, indem passende Dokumente aus einer externen Quelle geholt werden.