Исследователи под руководством Сайкирана Батхулы опубликовали препринт 15 Oct 2026 года, в котором описали компактный замороженный словарь для небольших языковых моделей. В модели на 270 млн параметров, построенной по образцу Gemma, они заменили обычную обучаемую таблицу эмбеддингов кодбуком с 512-битными кодами размером всего 16 МБ, у которого нет обучаемых параметров. Модель с такой таблицей не уступает исходной или превосходит её в бенчмарках LAMBADA и PIQA, при этом использует гораздо меньше памяти и работает на 5–6× быстрее на процессоре ноутбука.
Почему это важно
Разработчики смогут запускать компактные и быстрые языковые модели на периферийных устройствах, не жертвуя качеством на распространённых задачах.
