# واژگان ثابت ۱۶ مگابایتی از تعبیه‌های آموخته‌شده در مدل‌های کوچک بهتر عمل می‌کند

> پژوهشی تازه نشان می‌دهد یک کدبوک ثابت ۱۶ مگابایتی می‌تواند جایگزین جدول‌های بزرگ تعبیه‌های آموخته‌شده شود؛ بدون افت دقت، حجم مدل را کم کند و سرعت استنتاج را افزایش دهد.

Oossa · 2026-10-19 · https://oossa.com/fa/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

پژوهشگرانی به سرپرستی سایکیران باتولا در ۱۵ اکتبر ۲۰۲۶ پیش‌چاپی منتشر کردند که در آن واژگانی کوچک و ثابت برای مدل‌های زبانی کوچک معرفی شده است. آن‌ها جدول تعبیه‌سازیِ آموخته‌شدهٔ معمول را در مدلی ۲۷۰ میلیونی به سبک Gemma با کدبوکی ۵۱۲‌بیتی جایگزین کردند که فقط ۱۶ مگابایت حجم دارد و هیچ پارامتر آموزش‌پذیری در آن نیست. مدلی که با این جدول آموزش داده شده، در معیارهایی مثل LAMBADA و PIQA با مدل اصلی برابری می‌کند یا از آن بهتر است؛ در عین حال، حافظهٔ بسیار کمتری مصرف می‌کند و روی پردازندهٔ لپ‌تاپ ۵ تا ۶ برابر سریع‌تر اجرا می‌شود.

## حقایق

- مقاله در ۱۵ اکتبر ۲۰۲۶ ارسال شد («پنج‌شنبه، ۱۵ اکتبر ۲۰۲۶، ساعت ۰۶:۳۴:۱۸ UTC»)
- حجم واژگان ثابت: ۱۶ مگابایت، در برابر جدول آموخته‌شدهٔ ۱۶۸ مگابایتی

## چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های زبانی کوچک و سریع را بدون قربانی‌کردن عملکرد در کارهای رایج، روی دستگاه‌های لبه‌ای اجرا کنند.

## منابع و ارجاع‌ها

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

آخرین به‌روزرسانی: 2026-10-19