字节Seed发现DeepSeek长文本检索受信息位置影响

字节Seed团队在一项研究中发现，DeepSeek-V4长文本检索表现会受到信息在输入中位置的影响。128K Token检索测试里，DeepSeek-V4-Flash-Base在不同位置的准确率最多相差40.2个百分点；团队认为，这种周期性波动与分块KV Cache压缩有关。

研究人员还用自行训练的模型测试多种压缩设置，观察到波动周期会随压缩步长变化。后训练和后续版本缩小了差距：DeepSeek-V4.1-Flash-0910的最大差距为6.1个百分点，但没有消除波动。研究说明，评估这类模型时，单看平均分可能会漏掉位置差异。