# VocabX verlaagt inferentiekosten voor Portugese essays met 77%

> Hugging Face laat zien dat een nieuwe tokenizer voor een Qwen3‑4B-beoordelingsmodel het aantal tokens en de verwerkingstijd terugbracht.

Oossa · 2026-10-21 · https://oossa.com/nl/vocabx-cuts-inference-cost-by-77-for-portuguese-essay-grader

Hugging Face meldt dat een dienst voor het beoordelen van Portugese essays op basis van het 4 miljard parameters tellende model Qwen3‑4B de gemiddelde respons terugbracht van 350 naar 101 tokens. Daarvoor werd de oorspronkelijke tokenizer vervangen door VocabX, een tokenizer die is toegespitst op het vakgebied. De gemeten inferentiekosten daalden daardoor met 77%, terwijl de kwaliteit van de beoordelingen verbeterde. De methode bouwt de woordenschat opnieuw op, met de nadruk op tokenkosten in plaats van frequentie, en voegt terugkerende JSON-structuren samen tot afzonderlijke macrotokens.

## De feiten

- De kosten daalden met 77,0% in een test met 500 aanvragen (RTX 5090 GPU, vLLM).
- De omvang van de woordenschat daalde van ~152.000 naar ~65.000 items.

## Waarom het ertoe doet

Voor bedrijven die kleinschalige modellen in productie gebruiken, kan een goedkopere tokenizer de latency en cloudkosten halveren zonder dat het model opnieuw hoeft te worden getraind.

## Bronnen en referenties

1. [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) – Hugging Face, 2026-10-21

Laatst bijgewerkt: 2026-10-21