Saikiran Bathula के नेतृत्व में शोधकर्ताओं ने 15 Oct 2026 को एक प्रीप्रिंट जारी किया, जिसमें छोटे भाषा मॉडलों के लिए एक बेहद छोटी, स्थिर शब्दावली का विवरण है। उन्होंने Gemma-शैली के 270 M मॉडल में आम तौर पर इस्तेमाल होने वाली सीखी गई एम्बेडिंग तालिका को 512-बिट की ऐसी कोडबुक से बदला, जिसका आकार सिर्फ 16 MB है और जिसमें कोई प्रशिक्षित किए जा सकने वाले पैरामीटर नहीं हैं। इस तालिका के साथ प्रशिक्षित मॉडल LAMBADA और PIQA जैसे बेंचमार्क पर मूल मॉडल के बराबर या उससे बेहतर प्रदर्शन करता है, जबकि बहुत कम मेमोरी इस्तेमाल करता है और लैपटॉप CPU पर 5–6× तेज़ चलता है।
यह क्यों मायने रखता है
डेवलपर आम कामों में प्रदर्शन से समझौता किए बिना छोटे और तेज़ भाषा मॉडल एज डिवाइस पर चला सकते हैं।
