GateRQ让两款大语言模型的条件记忆表占用减半

研究人员推出GateRQ，这是一种压缩条件记忆表的方法。条件记忆表是附加在语言模型上的大型文本模式库。GateRQ不会给频繁访问的表项分配更高精度，而是根据查找时的门控值，决定是否读取额外的1位编码；论文称，门控值可由1位编码计算得出。

在DeepSeek-V4.1-Flash上，研究人员报告称，与FP8表相比，GateRQ可将GPU表内存占用降低7.8倍，并使vLLM吞吐量提高11%–31%。在两款模型上的测试中，每次查找平均读取1.50位时，PopQA得分约下降1分；读取2.10位时，得分下降0.2分。该方法无需重新训练。