Oossa

llama.cpp b12091 新增 MTP 状态保存与恢复

这版预发布版本调整了 llama.cpp 在 MTP 检查点中的隐藏状态处理方式,并提供适用于多种操作系统和硬件的构建版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目于 2026 年 11 月 4 日发布预发布版本 b12091。主要改动是在创建检查点时保存和恢复 MTP 的隐藏状态。MTP 是一种用于投机解码的方法。发布说明称,该版本只保存边界隐藏状态行;在受支持的恢复路径中,验证行会重新生成。

该版本提供适用于 macOS、iOS、Linux、Android 和 Windows 的构建版本,并包含针对不同处理器和加速器的选项。发布说明没有介绍这项改动对性能的影响。

为什么重要

对于在 llama.cpp 中使用 MTP 的开发者,这项改动会影响隐藏状态在受支持的恢复过程中如何保留;发布说明没有说明它是否能提升速度或可靠性。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。