# GateRQ让两款大语言模型的条件记忆表占用减半

> 一项新研究提出按需决定每次记忆查找读取多少位，并报告称该方法可减少GPU表内存占用、提高vLLM吞吐量。

Oossa · 2026-10-28 · https://oossa.com/zh/gaterq-cuts-conditional-memory-table-use-in-two-llms

研究人员推出GateRQ，这是一种压缩条件记忆表的方法。条件记忆表是附加在语言模型上的大型文本模式库。GateRQ不会给频繁访问的表项分配更高精度，而是根据查找时的门控值，决定是否读取额外的1位编码；论文称，门控值可由1位编码计算得出。

在DeepSeek-V4.1-Flash上，研究人员报告称，与FP8表相比，GateRQ可将GPU表内存占用降低7.8倍，并使vLLM吞吐量提高11%–31%。在两款模型上的测试中，每次查找平均读取1.50位时，PopQA得分约下降1分；读取2.10位时，得分下降0.2分。该方法无需重新训练。

## 事实

- 论文编号为arXiv:2610.35985，发布于October 28, 2026。
- 研究人员报告称，GateRQ在DeepSeek-V4.1-Flash上可将GPU表内存占用降低7.8倍。

## 为什么重要

对于使用条件记忆表提供模型服务的团队，GateRQ有望在提高吞吐量的同时减少GPU内存占用；不过，现有结果尚不能说明它在测试模型之外的表现。

## 来源与参考

1. [Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs](https://arxiv.org/abs/2610.35985) – arXiv cs.LG, 2026-10-28

最后更新: 2026-10-28