稀疏注意力方法加速长上下文混合大模型

研究人员介绍了一种加快混合式大语言模型长文本生成的方法，无需重新训练模型或改动其权重。该方法让每个全注意力层关注近期词元、固定前缀，以及从更广上下文中选出的有限数量的相关词元。

在对6款参数量介于4 billion至397 billion之间的模型进行测试后，研究人员称，这些模型在21个数据集上的准确率与基线持平。以Qwen3.5-4B为例，解码256,000个词元的速度最高提升至原来的2.22倍；这些是论文报告的结果，并非独立评估所得。