Grundkonzepte
Tokenizer
Algorithmus, der Rohtext in eine Folge von Tokens umwandelt.
Der Tokenizer ist die Komponente, die Text in für das Modell verarbeitbare Einheiten zerlegt. Jede Modellfamilie hat ihren eigenen, und derselbe Text zerfällt je nach Modell in unterschiedlich viele Tokens. Beim Kostenvergleich wird dieses Detail häufig übersehen: Ein pro Million Tokens günstigeres Modell kann in der Praxis teurer sein, wenn es Ihren Text feiner zerlegt. Stark flektierende Sprachen trifft das am meisten.