Wie Hugging Face mitteilte, sank die durchschnittliche Antwort eines Dienstes zur Bewertung portugiesischer Aufsätze, der auf dem Modell Qwen3‑4B mit 4 Milliarden Parametern basiert, von 350 auf 101 Token. Dafür wurde der ursprüngliche Tokenizer durch einen auf den Anwendungsbereich zugeschnittenen namens VocabX ersetzt. Die Änderung senkte die gemessenen Inferenzkosten um 77 % und verbesserte zugleich die Bewertungsqualität. Bei der Methode wird das Vokabular so neu aufgebaut, dass die Tokenkosten statt der Häufigkeit im Mittelpunkt stehen. Wiederkehrende JSON-Strukturen werden dabei zu einzelnen Makro-Token zusammengefasst.
Warum es wichtig ist
Für Unternehmen, die kleinere Modelle im Produktivbetrieb einsetzen, kann ein günstigerer Tokenizer Latenz und Cloud-Kosten halbieren – ganz ohne erneutes Training des Modells.
