# छोटे भाषा मॉडल में 16 MB की स्थिर शब्दावली ने सीखी गई एम्बेडिंग को पछाड़ा

> एक नए अध्ययन के मुताबिक, 16 MB की तय कोडबुक बड़ी सीखी गई एम्बेडिंग तालिकाओं की जगह ले सकती है। इससे सटीकता बरकरार रहती है, आकार घटता है और अनुमान तेज़ होता है।

Oossa · 2026-10-19 · https://oossa.com/hi/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Saikiran Bathula के नेतृत्व में शोधकर्ताओं ने 15 Oct 2026 को एक प्रीप्रिंट जारी किया, जिसमें छोटे भाषा मॉडलों के लिए एक बेहद छोटी, स्थिर शब्दावली का विवरण है। उन्होंने Gemma-शैली के 270 M मॉडल में आम तौर पर इस्तेमाल होने वाली सीखी गई एम्बेडिंग तालिका को 512-बिट की ऐसी कोडबुक से बदला, जिसका आकार सिर्फ 16 MB है और जिसमें कोई प्रशिक्षित किए जा सकने वाले पैरामीटर नहीं हैं। इस तालिका के साथ प्रशिक्षित मॉडल LAMBADA और PIQA जैसे बेंचमार्क पर मूल मॉडल के बराबर या उससे बेहतर प्रदर्शन करता है, जबकि बहुत कम मेमोरी इस्तेमाल करता है और लैपटॉप CPU पर 5–6× तेज़ चलता है।

## तथ्य

- शोधपत्र 15 Oct 2026 को जमा किया गया ("Thu, 15 Oct 2026 06:34:18 UTC")
- स्थिर शब्दावली का आकार: 16 MB, जबकि सीखी गई तालिका 168 MB की है

## यह क्यों मायने रखता है

डेवलपर आम कामों में प्रदर्शन से समझौता किए बिना छोटे और तेज़ भाषा मॉडल एज डिवाइस पर चला सकते हैं।

## स्रोत और संदर्भ

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

अंतिम अपडेट: 2026-10-19