ggml-org 团队发布了 llama.cpp b12549,修复了项目支持的模型 Inkling2 的注意力掩码处理问题。此次更新为 Inkling2 增设专用输入,可基于同一组单元生成密集注意力掩码和相对位置偏置。更新还修复了混合记忆模型的掩码构建问题;该问题会导致模型无法在统一缓存和 Flash Attention 下复用计算图,受影响的模型包括 LFM2、LFM3 和 Inkling2。此外,此版本允许将 Inkling2 的专家权重缩放值和最终 logits 的 softcap 设为零。
为什么重要
对于在 llama.cpp 中运行这些混合记忆模型的用户,此次修复解决了统一缓存和 Flash Attention 下无法复用计算图的问题;发布说明未量化任何性能提升。