# VocabX reduce un 77% el costo de inferencia de un evaluador de ensayos en portugués

> Hugging Face mostró que reconstruir el tokenizador de un evaluador basado en Qwen3‑4B con VocabX redujo la cantidad de tokens y el tiempo de respuesta.

Oossa · 2026-10-21 · https://oossa.com/es/vocabx-cuts-inference-cost-by-77-for-portuguese-essay-grader

Hugging Face informó que un servicio para evaluar ensayos en portugués basado en el modelo Qwen3‑4B, de 4.000 millones de parámetros, redujo su respuesta promedio de 350 tokens a 101 tras reemplazar el tokenizador original por uno especializado llamado VocabX. El cambio redujo un 77% el costo de inferencia medido y, a la vez, mejoró la calidad de la evaluación. El método reconstruye el vocabulario para priorizar el costo de los tokens en lugar de su frecuencia y combina estructuras JSON repetidas en macro tokens individuales.

## Los hechos

- El costo cayó un 77,0% en una prueba de 500 solicitudes (GPU RTX 5090, vLLM).
- El tamaño del vocabulario se redujo de ~152.000 entradas a ~65.000.

## Por qué importa

Para las empresas que ejecutan modelos pequeños en producción, un tokenizador más económico puede reducir a la mitad la latencia y las facturas de la nube sin necesidad de volver a entrenar el modelo.

## Fuentes y referencias

1. [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) – Hugging Face, 2026-10-21

Última actualización: 2026-10-21