Oossa

llama.cpp 为 MoE 模型新增逐专家、逐 token 缩放

开源库 llama.cpp 现在可对 MoE 下投影按 token 进行缩放,并改进了对张量并行的支持。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org/llama.cpp 项目于 2026-10-21 发布了新版本。该版本将混合专家(MoE)下投影原先统一使用的全局缩放因子,改为逐专家、逐 token 的缩放因子,并采用 POOL_1D 最大值归约。此次更新还通过在分片状态逻辑中处理 POOL_1D,加入了对张量并行的支持。此外,更新还包括代码清理,并重构了缩放结果的返回结构。

为什么重要

运行 MoE 模型的开发者现在可以对每个 token 获得更准确的缩放,这可能有助于提升多 GPU 配置下的性能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。