# Замороженный словарь на 16 МБ превосходит обучаемые эмбеддинги

> Новое исследование показывает: фиксированный кодбук на 16 МБ может заменить большие обучаемые таблицы эмбеддингов, сохранив точность, уменьшив размер модели и ускорив инференс.

Oossa · 2026-10-19 · https://oossa.com/ru/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Исследователи под руководством Сайкирана Батхулы опубликовали препринт 15 Oct 2026 года, в котором описали компактный замороженный словарь для небольших языковых моделей. В модели на 270 млн параметров, построенной по образцу Gemma, они заменили обычную обучаемую таблицу эмбеддингов кодбуком с 512-битными кодами размером всего 16 МБ, у которого нет обучаемых параметров. Модель с такой таблицей не уступает исходной или превосходит её в бенчмарках LAMBADA и PIQA, при этом использует гораздо меньше памяти и работает на 5–6× быстрее на процессоре ноутбука.

## Факты

- Статья отправлена 15 Oct 2026 ("Thu, 15 Oct 2026 06:34:18 UTC")
- Размер замороженного словаря — 16 МБ против 168 МБ у обучаемой таблицы

## Почему это важно

Разработчики смогут запускать компактные и быстрые языковые модели на периферийных устройствах, не жертвуя качеством на распространённых задачах.

## Источники и ссылки

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Обновлено: 2026-10-19