Oossa

llama.cpp b11800版新增融合式 top-k 掩码操作

这款开源推理库新增了用于 QSA 掩码的融合操作,可提升部分模型的运行性能。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org llama.cpp 项目于 2026-10-21 发布 b11800 版。此次更新新增融合式 top-k 掩码操作(ggml_top_k_mask),可供 QSA、DSA 和 DeepSeek V4 CSA 模型使用。该操作以单个节点取代手动编写的掩码代码,将未选中的单元格设为 –inf。它按头处理,并支持可选分数、块大小和额外单元格。

为什么重要

开发者运行受支持的模型时,库可以通过一次优化处理完成掩码操作,从而提升运行速度。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。