Hugging Face ने बताया कि 4-बिलियन पैरामीटर वाले Qwen3‑4B मॉडल पर बनी पुर्तगाली निबंध-जाँच सेवा में, मूल टोकनाइज़र की जगह VocabX नाम का डोमेन-विशिष्ट टोकनाइज़र लगाने के बाद औसत जवाब 350 टोकन से घटकर 101 टोकन का रह गया। इस बदलाव से मापी गई इन्फ़रेंस लागत 77% कम हुई और ग्रेडिंग की गुणवत्ता भी बेहतर हुई। इस तरीके में टोकन की आवृत्ति के बजाय उनकी लागत पर ध्यान देते हुए शब्दावली को नए सिरे से बनाया जाता है और बार-बार आने वाली JSON संरचनाओं को एकल मैक्रो टोकन में समेटा जाता है।
यह क्यों मायने रखता है
प्रोडक्शन में छोटे पैमाने के मॉडल चलाने वाली कंपनियों के लिए, सस्ता टोकनाइज़र मॉडल को दोबारा प्रशिक्षित किए बिना लेटेंसी और क्लाउड बिल आधे तक घटा सकता है।
