Grundkonzepte
System-Prompt
Anweisungsblock vor dem Gespräch, der das Verhalten des Modells konfiguriert.
Der System-Prompt steht vor den Nutzernachrichten und legt Identität, Ton, Regeln und Grenzen des Modells fest. Er wird bei jeder Anfrage erneut gesendet und wirkt sich damit direkt auf die Kosten aus: Ein langer System-Prompt wird immer wieder bezahlt. Genau dafür gibt es Kontext-Caching.
Verwandte Begriffe
Prompt Engineering
Die Praxis, Eingaben so zu gestalten, dass ein Modell optimale Ausgaben liefert.
Completion (Vervollständigung)
Der Text, den ein Sprachmodell als Antwort auf einen Prompt erzeugt.
Token
Die Grundeinheit des Textes, die Sprachmodelle verarbeiten und nach der abgerechnet wird.
Kontext-Caching
Anbieterfunktion, die einen wiederverwendbaren Präfix speichert, um ihn nicht erneut voll zu berechnen.