پژوهشگرانی به سرپرستی سایکیران باتولا در ۱۵ اکتبر ۲۰۲۶ پیش‌چاپی منتشر کردند که در آن واژگانی کوچک و ثابت برای مدل‌های زبانی کوچک معرفی شده است. آن‌ها جدول تعبیه‌سازیِ آموخته‌شدهٔ معمول را در مدلی ۲۷۰ میلیونی به سبک Gemma با کدبوکی ۵۱۲بیتی جایگزین کردند که فقط ۱۶ مگابایت حجم دارد و هیچ پارامتر آموزش‌پذیری در آن نیست. مدلی که با این جدول آموزش داده شده، در معیارهایی مثل LAMBADA و PIQA با مدل اصلی برابری می‌کند یا از آن بهتر است؛ در عین حال، حافظهٔ بسیار کمتری مصرف می‌کند و روی پردازندهٔ لپ‌تاپ ۵ تا ۶ برابر سریع‌تر اجرا می‌شود.
چرا مهم است
توسعه‌دهندگان می‌توانند مدل‌های زبانی کوچک و سریع را بدون قربانی‌کردن عملکرد در کارهای رایج، روی دستگاه‌های لبه‌ای اجرا کنند.
