# VocabX sänker inferenskostnaden med 77 % för portugisisk uppsatstjänst

> Hugging Face visar att en nybyggd tokenizer för en Qwen3‑4B-modell minskade antalet token och körningstiden för en tjänst som bedömer uppsatser.

Oossa · 2026-10-21 · https://oossa.com/sv/vocabx-cuts-inference-cost-by-77-for-portuguese-essay-grader

Hugging Face rapporterade att en tjänst för bedömning av portugisiska uppsatser, byggd på modellen Qwen3‑4B med 4 miljarder parametrar, minskade det genomsnittliga svaret från 350 token till 101 token efter att den ursprungliga tokenizern byttes ut mot en domänspecifik variant kallad VocabX. Ändringen sänkte den uppmätta inferenskostnaden med 77 % och förbättrade samtidigt bedömningskvaliteten. Metoden bygger om vokabulären med fokus på kostnaden per token i stället för frekvens och slår ihop återkommande JSON-strukturer till enskilda makrotoken.

## Fakta

- Kostnaden sjönk med 77,0 % i ett test med 500 förfrågningar (RTX 5090 GPU, vLLM).
- Vokabulärens storlek minskade från cirka 152 000 poster till cirka 65 000.

## Varför det spelar roll

För företag som kör mindre modeller i produktion kan en billigare tokenizer halvera svarstiden och molnkostnaderna utan att modellen behöver tränas om.

## Källor och referenser

1. [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) – Hugging Face, 2026-10-21

Senast uppdaterad: 2026-10-21