¿Por qué la IA cuesta más en Hebreo?
Decir lo mismo en Hebreo consume 1.58× los tokens que consume en inglés. Como los proveedores facturan por token, eso es un 58% añadido a cada prompt que envías, no por mejores respuestas, sino solo por la codificación.
La medición
11 de 25 por coste en tokensEl tokenizador más reciente ha cerrado el 80% de la brecha. Es un avance real, pero no es paridad, y los modelos antiguos siguen facturando a la tarifa vieja.
Lo que eso cuesta a un producto real
$4,379al año, tirados en codificación
Con 500 mil llamadas al mes de 500 tokens ingleses cada una, a 2,50 $ por millón de tokens de entrada. Solo la entrada: la longitud de la respuesta depende de la respuesta, no de tu idioma.
Medido en cinco registros
Una sola frase no probaría nada, así que se miden los mismos cinco textos en todos los idiomas. La penalización va de 1.34× a 1.88× según lo que escribas.
| Tipo de texto | Tokens | frente al inglés |
|---|---|---|
| Correo profesional | 53 | 1.77× |
| Respuesta de soporte | 50 | 1.35× |
| Descripción de producto | 64 | 1.88× |
| Instrucciones | 56 | 1.65× |
| Mensaje informal | 51 | 1.34× |
Por qué ocurre
Los caracteres fuera del rango latino cuestan varios bytes UTF-8 antes de fusionarse, y el vocabulario aprendido por el tokenizador contiene pocos fragmentos de esta escritura, así que las palabras se fragmentan más que las inglesas.
Preguntas frecuentes
¿Por qué Hebreo usa más tokens?
Los tokenizadores aprenden su vocabulario de texto de entrenamiento abrumadoramente inglés, así que los fragmentos ingleses obtienen tokens propios mientras que las formas de otros idiomas se parten en trozos menores. El efecto es mecánico, no un juicio sobre el idioma.
¿Puedo hacer algo al respecto?
Ayudan tres cosas. Escribe los prompts de sistema y las instrucciones en inglés y deja en Hebreo el contenido que ve el usuario: el modelo entiende la instrucción igual. Prefiere modelos recientes, cuyos tokenizadores manejan bastante mejor el texto no inglés. Y recorta la palabrería, porque la penalización se aplica a cada token que envías, incluidos los inútiles.
¿Esto está medido o estimado?
Medido. Los tokenizadores reales se ejecutan sobre cinco textos paralelos en cada idioma y los recuentos son exactos. La única entrada blanda es la traducción, y por eso el corpus se publica entero y se muestra la dispersión de los cinco textos en lugar de una media favorecedora.
Idiomas con un coste parecido
Método: se ejecutan los tokenizadores BPE reales —cl100k_base para la generación GPT-4 y o200k_base para GPT-4o y posteriores— sobre un corpus paralelo de cinco textos por idioma. Los recuentos son exactos, no estimados. Las traducciones son nuestras y se publican íntegras en el repositorio, porque una redacción más larga costaría más tokens y debes poder comprobar la nuestra.