Исследователи под руководством Шию Джи представили RoLaQ — метод калибровки 2-битных кэшей ключей и значений для моделей с многоголовой латентной внимательностью. Метод совместно настраивает поворот и диапазон квантования, не меняя веса модели. В испытаниях на трёх моделях и шести тестах RoLaQ показал самую высокую среднюю точность среди 2-битных методов. В реализации SGLang для DeepSeek‑V2‑Lite ёмкость кэша оказалась в 3.96 раза выше, чем у BF16, а скорость декодирования — в 2.51 раза выше при контексте в 256K токенов.
Почему это важно
Разработчики языковых моделей с длинным контекстом смогут быстрее обрабатывать более длинные запросы без дополнительного оборудования.
