Warum kostet KI auf Hindi mehr?
Dasselbe auf Hindi zu sagen, verbraucht das 1.67-Fache der Tokens, die es auf Englisch braucht. Da Anbieter je Token abrechnen, sind das 67% Aufschlag auf jeden Prompt — nicht für bessere Antworten, sondern allein für die Kodierung.
Die Messung
Platz 7 von 25 nach Token-KostenDer neuere Tokenizer hat 85% der Lücke geschlossen. Das ist echter Fortschritt, aber keine Gleichstellung — ältere Modelle rechnen weiter zum alten Tarif ab.
Was das ein echtes Produkt kostet
$5,029pro Jahr, allein für die Kodierung
Bei 500 Tausend Aufrufen im Monat mit je 500 englischen Tokens, zu 2,50 $ je Million Eingabe-Tokens. Nur die Eingabeseite — die Antwortlänge ist eine Eigenschaft der Antwort, nicht Ihrer Sprache.
Über fünf Textsorten gemessen
Ein einzelner Satz würde nichts beweisen, deshalb werden in jeder Sprache dieselben fünf Texte gemessen. Der Aufschlag reicht je nach Textsorte von 1.50× bis 1.87×.
| Textsorte | Tokens | ggü. Englisch |
|---|---|---|
| Geschäfts-E-Mail | 56 | 1.87× |
| Support-Antwort | 56 | 1.51× |
| Produktbeschreibung | 61 | 1.79× |
| Anleitung | 59 | 1.74× |
| Alltagsnachricht | 57 | 1.50× |
Warum das passiert
Zeichen außerhalb des lateinischen Bereichs kosten mehrere UTF-8-Byte, bevor zusammengeführt wird, und das gelernte Vokabular enthält vergleichsweise wenige Bausteine dieser Schrift — Wörter zerfallen daher stärker als englische.
Häufige Fragen
Warum verbraucht Hindi mehr Tokens?
Tokenizer lernen ihr Vokabular aus ganz überwiegend englischem Trainingstext. Englische Wortbausteine bekommen eigene Tokens, während Wortformen anderer Sprachen in kleinere Stücke zerfallen. Der Effekt ist mechanisch und kein Urteil über die Sprache.
Kann ich etwas dagegen tun?
Drei Dinge helfen. Schreiben Sie System-Prompts und Anweisungen auf Englisch und belassen Sie die für Nutzer sichtbaren Inhalte auf Hindi — das Modell versteht die Anweisung so wie so. Bevorzugen Sie neuere Modelle, deren Tokenizer nicht-englischen Text deutlich besser verarbeiten. Und streichen Sie Floskeln, denn der Aufschlag gilt für jedes gesendete Token, auch für die überflüssigen.
Ist das gemessen oder geschätzt?
Gemessen. Die echten Tokenizer laufen über fünf parallele Texte je Sprache, die Zahlen sind exakt. Der einzige weiche Faktor ist die Übersetzung selbst — deshalb ist das Korpus vollständig veröffentlicht und statt eines schmeichelhaften Mittelwerts wird die Streuung über alle fünf Texte gezeigt.
Sprachen mit ähnlichen Kosten
Methode: Die echten BPE-Tokenizer — cl100k_base für die GPT-4-Generation und o200k_base für GPT-4o und später — laufen über ein paralleles Korpus aus fünf Texten je Sprache. Die Token-Zahlen sind exakt, nicht geschätzt. Die Übersetzungen stammen von uns und stehen vollständig im Repository, denn eine wortreichere Fassung kostet mehr Tokens, und Sie sollen unsere prüfen können.