ggml-org llama.cpp 项目于 2026-10-21 发布 b11800 版。此次更新新增融合式 top-k 掩码操作(ggml_top_k_mask),可供 QSA、DSA 和 DeepSeek V4 CSA 模型使用。该操作以单个节点取代手动编写的掩码代码,将未选中的单元格设为 –inf。它按头处理,并支持可选分数、块大小和额外单元格。
为什么重要
开发者运行受支持的模型时,库可以通过一次优化处理完成掩码操作,从而提升运行速度。
这款开源推理库新增了用于 QSA 掩码的融合操作,可提升部分模型的运行性能。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
ggml-org llama.cpp 项目于 2026-10-21 发布 b11800 版。此次更新新增融合式 top-k 掩码操作(ggml_top_k_mask),可供 QSA、DSA 和 DeepSeek V4 CSA 模型使用。该操作以单个节点取代手动编写的掩码代码,将未选中的单元格设为 –inf。它按头处理,并支持可选分数、块大小和额外单元格。
开发者运行受支持的模型时,库可以通过一次优化处理完成掩码操作,从而提升运行速度。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。