¿Por qué la IA cuesta más en Japonés?
Decir lo mismo en Japonés consume 1.63× los tokens que consume en inglés. Como los proveedores facturan por token, eso es un 63% añadido a cada prompt que envías, no por mejores respuestas, sino solo por la codificación.
La medición
9 de 25 por coste en tokensEl tokenizador más reciente ha cerrado el 51% de la brecha. Es un avance real, pero no es paridad, y los modelos antiguos siguen facturando a la tarifa vieja.
Lo que eso cuesta a un producto real
$4,725al año, tirados en codificación
Con 500 mil llamadas al mes de 500 tokens ingleses cada una, a 2,50 $ por millón de tokens de entrada. Solo la entrada: la longitud de la respuesta depende de la respuesta, no de tu idioma.
Medido en cinco registros
Una sola frase no probaría nada, así que se miden los mismos cinco textos en todos los idiomas. La penalización va de 1.35× a 2.00× según lo que escribas.
| Tipo de texto | Tokens | frente al inglés |
|---|---|---|
| Correo profesional | 60 | 2.00× |
| Respuesta de soporte | 50 | 1.35× |
| Descripción de producto | 63 | 1.85× |
| Instrucciones | 55 | 1.62× |
| Mensaje informal | 54 | 1.42× |
Por qué ocurre
Los caracteres chinos, japoneses y coreanos cuestan tres bytes en UTF-8, pero cada carácter carga mucho más significado que una letra latina. Los dos efectos se compensan en parte, y por eso estos idiomas quedan más cerca de la paridad de lo que sugiere su coste en bytes.
Preguntas frecuentes
¿Por qué Japonés usa más tokens?
Los tokenizadores aprenden su vocabulario de texto de entrenamiento abrumadoramente inglés, así que los fragmentos ingleses obtienen tokens propios mientras que las formas de otros idiomas se parten en trozos menores. El efecto es mecánico, no un juicio sobre el idioma.
¿Puedo hacer algo al respecto?
Ayudan tres cosas. Escribe los prompts de sistema y las instrucciones en inglés y deja en Japonés el contenido que ve el usuario: el modelo entiende la instrucción igual. Prefiere modelos recientes, cuyos tokenizadores manejan bastante mejor el texto no inglés. Y recorta la palabrería, porque la penalización se aplica a cada token que envías, incluidos los inútiles.
¿Esto está medido o estimado?
Medido. Los tokenizadores reales se ejecutan sobre cinco textos paralelos en cada idioma y los recuentos son exactos. La única entrada blanda es la traducción, y por eso el corpus se publica entero y se muestra la dispersión de los cinco textos en lugar de una media favorecedora.
Idiomas con un coste parecido
Método: se ejecutan los tokenizadores BPE reales —cl100k_base para la generación GPT-4 y o200k_base para GPT-4o y posteriores— sobre un corpus paralelo de cinco textos por idioma. Los recuentos son exactos, no estimados. Las traducciones son nuestras y se publican íntegras en el repositorio, porque una redacción más larga costaría más tokens y debes poder comprobar la nuestra.