Hugging Face informó que un servicio para evaluar ensayos en portugués basado en el modelo Qwen3‑4B, de 4.000 millones de parámetros, redujo su respuesta promedio de 350 tokens a 101 tras reemplazar el tokenizador original por uno especializado llamado VocabX. El cambio redujo un 77% el costo de inferencia medido y, a la vez, mejoró la calidad de la evaluación. El método reconstruye el vocabulario para priorizar el costo de los tokens en lugar de su frecuencia y combina estructuras JSON repetidas en macro tokens individuales.
Por qué importa
Para las empresas que ejecutan modelos pequeños en producción, un tokenizador más económico puede reducir a la mitad la latencia y las facturas de la nube sin necesidad de volver a entrenar el modelo.
