Oossa

llama.cpp b12549 修复 Inkling2 注意力处理问题

此次更新为 Inkling2 增设专用的相对位置注意力输入,并修复 LFM2、LFM3 等混合记忆模型的掩码复用问题。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b12549,修复了项目支持的模型 Inkling2 的注意力掩码处理问题。此次更新为 Inkling2 增设专用输入,可基于同一组单元生成密集注意力掩码和相对位置偏置。更新还修复了混合记忆模型的掩码构建问题;该问题会导致模型无法在统一缓存和 Flash Attention 下复用计算图,受影响的模型包括 LFM2、LFM3 和 Inkling2。此外,此版本允许将 Inkling2 的专家权重缩放值和最终 logits 的 softcap 设为零。

为什么重要

对于在 llama.cpp 中运行这些混合记忆模型的用户,此次修复解决了统一缓存和 Flash Attention 下无法复用计算图的问题;发布说明未量化任何性能提升。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。