¿Por qué la IA cuesta más en Vietnamita?
Decir lo mismo en Vietnamita consume 1.54× los tokens que consume en inglés. Como los proveedores facturan por token, eso es un 54% añadido a cada prompt que envías, no por mejores respuestas, sino solo por la codificación.
La medición
12 de 25 por coste en tokensEl tokenizador más reciente ha cerrado el 67% de la brecha. Es un avance real, pero no es paridad, y los modelos antiguos siguen facturando a la tarifa vieja.
Lo que eso cuesta a un producto real
$4,075al año, tirados en codificación
Con 500 mil llamadas al mes de 500 tokens ingleses cada una, a 2,50 $ por millón de tokens de entrada. Solo la entrada: la longitud de la respuesta depende de la respuesta, no de tu idioma.
Medido en cinco registros
Una sola frase no probaría nada, así que se miden los mismos cinco textos en todos los idiomas. La penalización va de 1.24× a 1.77× según lo que escribas.
| Tipo de texto | Tokens | frente al inglés |
|---|---|---|
| Correo profesional | 53 | 1.77× |
| Respuesta de soporte | 58 | 1.57× |
| Descripción de producto | 60 | 1.76× |
| Instrucciones | 42 | 1.24× |
| Mensaje informal | 54 | 1.42× |
Por qué ocurre
La codificación por pares de bytes construye su vocabulario a partir de texto de entrenamiento abrumadoramente inglés. Los fragmentos de palabra ingleses frecuentes obtienen su propio token; las cadenas de sufijos y flexiones de otros idiomas no, así que las palabras se rompen en más piezas de las debidas.
Preguntas frecuentes
¿Por qué Vietnamita usa más tokens?
Los tokenizadores aprenden su vocabulario de texto de entrenamiento abrumadoramente inglés, así que los fragmentos ingleses obtienen tokens propios mientras que las formas de otros idiomas se parten en trozos menores. El efecto es mecánico, no un juicio sobre el idioma.
¿Puedo hacer algo al respecto?
Ayudan tres cosas. Escribe los prompts de sistema y las instrucciones en inglés y deja en Vietnamita el contenido que ve el usuario: el modelo entiende la instrucción igual. Prefiere modelos recientes, cuyos tokenizadores manejan bastante mejor el texto no inglés. Y recorta la palabrería, porque la penalización se aplica a cada token que envías, incluidos los inútiles.
¿Esto está medido o estimado?
Medido. Los tokenizadores reales se ejecutan sobre cinco textos paralelos en cada idioma y los recuentos son exactos. La única entrada blanda es la traducción, y por eso el corpus se publica entero y se muestra la dispersión de los cinco textos en lugar de una media favorecedora.
Idiomas con un coste parecido
Método: se ejecutan los tokenizadores BPE reales —cl100k_base para la generación GPT-4 y o200k_base para GPT-4o y posteriores— sobre un corpus paralelo de cinco textos por idioma. Los recuentos son exactos, no estimados. Las traducciones son nuestras y se publican íntegras en el repositorio, porque una redacción más larga costaría más tokens y debes poder comprobar la nuestra.