Hugging Face گزارش داده است که یک سرویس تصحیح انشای پرتغالی مبتنی بر مدل ۴ میلیاردپارامتری Qwen3‑4B، پس از جایگزینی توکن‌ساز اصلی با توکن‌سازی تخصصی به نام VocabX، میانگین پاسخ را از 350 توکن به 101 توکن کاهش داد. این تغییر، ضمن بهبود کیفیت تصحیح، هزینه اندازه‌گیری‌شده استنتاج را 77% پایین آورد. در این روش، واژگان با تمرکز بر هزینه توکن‌ها، نه بسامد آن‌ها، از نو ساخته می‌شود و ساختارهای تکراری JSON در قالب توکن‌های ماکروِ واحد ادغام می‌شوند.
چرا مهم است
برای شرکت‌هایی که مدل‌های کوچک را در مقیاس محدود به کار می‌گیرند، توکن‌سازی ارزان‌تر می‌تواند بدون آموزش دوباره مدل، زمان تأخیر و هزینه‌های ابری را نصف کند.
