Hugging Face meldt dat een dienst voor het beoordelen van Portugese essays op basis van het 4 miljard parameters tellende model Qwen3‑4B de gemiddelde respons terugbracht van 350 naar 101 tokens. Daarvoor werd de oorspronkelijke tokenizer vervangen door VocabX, een tokenizer die is toegespitst op het vakgebied. De gemeten inferentiekosten daalden daardoor met 77%, terwijl de kwaliteit van de beoordelingen verbeterde. De methode bouwt de woordenschat opnieuw op, met de nadruk op tokenkosten in plaats van frequentie, en voegt terugkerende JSON-structuren samen tot afzonderlijke macrotokens.
Waarom het ertoe doet
Voor bedrijven die kleinschalige modellen in productie gebruiken, kan een goedkopere tokenizer de latency en cloudkosten halveren zonder dat het model opnieuw hoeft te worden getraind.
