¿La inteligencia artificial cobra más por escribir en otro idioma? El estudio detrás del impuesto de tokens

Dos personas pueden escribir una instrucción con el mismo significado y terminar consumiendo cantidades distintas de tokens en una herramienta de inteligencia artificial. La diferencia no depende necesariamente de la dificultad de la pregunta: también influye el idioma y la manera en que cada sistema divide las palabras antes de procesarlas. Un estudio internacional pone números a esa desigualdad y reabre el debate sobre el costo de acceder a la IA fuera del inglés.

La Coalition for Language Equity in AI Research (CLEAR) publicó un análisis denominado The Tokenizer Tax. Evaluó distintos sistemas de tokenización en un conjunto de idiomas de uso frecuente y en los 200 idiomas del corpus FLORES-200. Los resultados muestran diferencias que pueden llegar hasta unas 17 veces entre el idioma mejor y el peor tokenizado en determinados modelos.

Qué es un token y por qué se paga por él

Un modelo no recibe cada frase simplemente como una cadena de palabras completas. Antes, un tokenizador transforma el texto en unidades que pueden ser palabras, fragmentos, signos o combinaciones de caracteres. Si una expresión necesita muchos fragmentos, consume más unidades del presupuesto de contexto del modelo.

En algunos servicios de programación y APIs, los proveedores cobran según la cantidad de tokens de entrada y salida. Por eso, una frase dividida en más tokens puede resultar más cara de procesar. Sin embargo, esa relación no se aplica directamente a todos los usuarios que pagan una suscripción mensual fija, cuyo precio no necesariamente cambia por cada mensaje o idioma.

El efecto también puede influir en la cantidad de texto que cabe dentro de una ventana de contexto y, en ciertas configuraciones, en tiempo o recursos de ejecución. Eso puede perjudicar a comunidades cuyos idiomas aparecen poco en los conjuntos usados para diseñar y entrenar tokenizadores.

De dónde sale la diferencia de hasta 17 veces

CLEAR comparó cuántos tokens requerían textos equivalentes de múltiples idiomas. En su tabla, el tokenizador asociado con Falcon 3 presenta una relación máxima/mínima de 17,0 veces sobre el conjunto FLORES-200; otros modelos presentan brechas menores. Por ejemplo, determinadas familias de Google registran alrededor de 5,1 veces en esa misma comparación, mientras algunos sistemas de traducción muestran diferencias mucho más reducidas.

Esos números no significan que escribir en español cueste 17 veces más que escribir en inglés. La cifra extrema compara los idiomas que resultaron más y menos eficientes para un tokenizador concreto entre 200 lenguas. Tampoco es una tarifa uniforme que los proveedores cobren automáticamente a todos sus clientes.

El mismo análisis muestra que el orden de los idiomas puede cambiar entre modelos. Un idioma relativamente eficiente en una plataforma no tiene por qué serlo en otra. La elección de vocabulario, los datos usados en el entrenamiento y las características de la escritura afectan el resultado.

Por qué importa para Chile y sus lenguas

El español tiene una amplia presencia digital, pero Chile es un país multilingüe: también se trabajan textos en mapuzungun, rapa nui y otras lenguas que enfrentan problemas específicos de datos disponibles, representación y herramientas tecnológicas.

El problema del costo de tokens no equivale a la calidad de traducción, pero está relacionado con la equidad de acceso. Un sistema puede cobrar más unidades por la misma idea y además tener menos ejemplos culturales para responder adecuadamente. Para organizaciones que usan APIs a escala, eso puede transformar una diferencia técnica pequeña por consulta en un costo acumulado.

En OHZOM contamos cómo se desarrolló un traductor de mapuzungun con variantes territoriales. Esa iniciativa muestra por qué incorporar lenguas poco representadas requiere investigación, participación de hablantes y decisiones de diseño, no solo traducir una interfaz.

Qué pueden hacer usuarios y desarrolladores

Si utilizas una API con cobro por token, revisa el contador de uso por modelo, haz pruebas con casos reales y compara el costo por tarea terminada, no solo por longitud del mensaje. Una respuesta más breve no siempre es mejor, ni la traducción automática al inglés garantiza ahorrar recursos sin perder sentido.

Para quienes diseñan sistemas, las alternativas incluyen mejorar tokenizadores multilingües, evaluar resultados por idioma y publicar métricas transparentes. La brecha puede reducirse con decisiones técnicas y conjuntos de datos más representativos, pero los resultados deben validarse idioma por idioma.

La principal conclusión del estudio no es que exista una tarifa oficial por no hablar inglés. Es que el diseño de los modelos puede distribuir de manera desigual el costo computacional del mismo contenido. Esa desigualdad debe considerarse cuando la IA aspira a servir a poblaciones con lenguas y escrituras diversas.

Fotografía referencial de computador y código: Unsplash. No representa los sistemas estudiados por CLEAR.