Исследователи представили GateRQ — метод сжатия таблиц условной памяти, крупных хранилищ текстовых шаблонов, связанных с языковой моделью. Вместо того чтобы выделять дополнительную точность часто запрашиваемым строкам, GateRQ использует значение гейта при обращении к таблице, чтобы определить, нужно ли считывать дополнительные 1-битные коды. В статье говорится, что значение гейта можно вычислить по 1-битному коду.
На DeepSeek-V4.1-Flash исследователи сообщают о сокращении объёма видеопамяти для таблиц в 7,8 раза и росте пропускной способности vLLM на 11%–31% по сравнению с таблицами FP8. По их данным, на двух моделях метод снижает результат на PopQA примерно на 1 пункт при считывании в среднем 1.50 бита за обращение или на 0.2 пункта при 2.10 бита; переобучение не требуется.
Почему это важно
Для команд, которые обслуживают модели с таблицами условной памяти, GateRQ может снизить расход видеопамяти и увеличить пропускную способность. Однако опубликованные результаты не показывают, как метод работает за пределами протестированных моделей.
