Oossa

llama.cpp 为推测解码新增 logprob 支持

开源 Llama.cpp 库现已支持在推测解码时返回 token 的对数概率,修复了 master 分支中的回归问题。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org/llama.cpp 项目于 2026-10-21 发布 b11776 版本。此次更新新增了在推测解码过程中返回对数概率(logprobs)的支持。推测解码是一种通过提前猜测 token 来加快生成速度的技术。项目还新增了一项回归测试,确保返回的新 logprob 值与未使用推测解码时一致。此修复解决了 master 分支返回空 logprob 数据的问题。

为什么重要

开发者现在使用快速推测解码时,也能查看每个 token 的置信度分数,从而帮助调试并提升生成质量。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。