# VocabX senkt Inferenzkosten für portugiesische Aufsatzbewertung um 77 %

> Hugging Face zeigt: Ein neu aufgebauter Tokenizer für ein Bewertungsmodell auf Basis von Qwen3‑4B verringerte die Tokenzahl und die Laufzeit.

Oossa · 2026-10-21 · https://oossa.com/de/vocabx-cuts-inference-cost-by-77-for-portuguese-essay-grader

Wie Hugging Face mitteilte, sank die durchschnittliche Antwort eines Dienstes zur Bewertung portugiesischer Aufsätze, der auf dem Modell Qwen3‑4B mit 4 Milliarden Parametern basiert, von 350 auf 101 Token. Dafür wurde der ursprüngliche Tokenizer durch einen auf den Anwendungsbereich zugeschnittenen namens VocabX ersetzt. Die Änderung senkte die gemessenen Inferenzkosten um 77 % und verbesserte zugleich die Bewertungsqualität. Bei der Methode wird das Vokabular so neu aufgebaut, dass die Tokenkosten statt der Häufigkeit im Mittelpunkt stehen. Wiederkehrende JSON-Strukturen werden dabei zu einzelnen Makro-Token zusammengefasst.

## Die Fakten

- Die Kosten sanken bei einem Test mit 500 Anfragen um 77,0 % (RTX 5090-GPU, vLLM).
- Die Größe des Vokabulars wurde von rund 152.000 auf rund 65.000 Einträge reduziert.

## Warum es wichtig ist

Für Unternehmen, die kleinere Modelle im Produktivbetrieb einsetzen, kann ein günstigerer Tokenizer Latenz und Cloud-Kosten halbieren – ganz ohne erneutes Training des Modells.

## Quellen und Referenzen

1. [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) – Hugging Face, 2026-10-21

Zuletzt aktualisiert: 2026-10-21