Hugging Face rapporterade att en tjänst för bedömning av portugisiska uppsatser, byggd på modellen Qwen3‑4B med 4 miljarder parametrar, minskade det genomsnittliga svaret från 350 token till 101 token efter att den ursprungliga tokenizern byttes ut mot en domänspecifik variant kallad VocabX. Ändringen sänkte den uppmätta inferenskostnaden med 77 % och förbättrade samtidigt bedömningskvaliteten. Metoden bygger om vokabulären med fokus på kostnaden per token i stället för frekvens och slår ihop återkommande JSON-strukturer till enskilda makrotoken.
Varför det spelar roll
För företag som kör mindre modeller i produktion kan en billigare tokenizer halvera svarstiden och molnkostnaderna utan att modellen behöver tränas om.
