A Hugging Face informou que um serviço de correção de redações em português, baseado no modelo Qwen3‑4B, de 4 bilhões de parâmetros, reduziu a resposta média de 350 para 101 tokens após substituir o tokenizador original por um tokenizador especializado chamado VocabX. A mudança diminuiu em 77% o custo de inferência medido e melhorou a qualidade da correção. O método reconstrói o vocabulário para priorizar o custo dos tokens, em vez da frequência, e combina estruturas JSON repetidas em macro tokens únicos.
Por que importa
Para empresas que executam modelos de pequena escala em produção, um tokenizador mais barato pode reduzir pela metade a latência e os custos de nuvem, sem retreinar o modelo.
