ggml‑org/llama.cpp 项目于 2026-11-12 发布 b12328 版。此次更新调整了后端逻辑，只预取由更早分片计算出的输入，避免读取之后会被覆盖的张量。此外，更新还新增检查：如果当前设备无法执行缓存的操作，就跳过 MoE（混合专家）缓存，以避免不必要的数据复制。
为什么重要
对于无法处理 MoE 工作负载的硬件，开发者可望减少内存流量并加快推理速度。
llama.cpp 更新优化后端预取
b12328 版加入更智能的预取逻辑，并在设备不支持时跳过 MoE 缓存。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。