Hugging Face indique qu’un service de correction de dissertations en portugais reposant sur le modèle Qwen3‑4B à 4 milliards de paramètres a réduit la longueur moyenne de ses réponses, passée de 350 à 101 tokens, après avoir remplacé le tokenizer d’origine par un tokenizer spécialisé appelé VocabX. Cette modification a fait baisser de 77 % le coût d’inférence mesuré, tout en améliorant la qualité de la correction. La méthode reconstruit le vocabulaire en privilégiant le coût des tokens plutôt que leur fréquence et regroupe les structures JSON répétées en tokens macro uniques.
Pourquoi c'est important
Pour les entreprises qui exploitent des modèles à petite échelle en production, un tokenizer moins coûteux peut réduire de moitié la latence et les factures cloud, sans réentraîner le modèle.
