Oossa

llama.cpp b11782 修复生成多个结果时的 token 计数错误

这款开源大语言模型运行器更新了服务器代码,能在生成多个结果时正确统计 completion token,并新增适用于 macOS、iOS 和 Linux 的二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 于 21 Oct 2026 发布 llama.cpp b11782。此次更新修复了服务器的一项问题:当 n > 1 时,usage.completion_tokens 计数偏低,导致批量生成的 token 用量统计不准确。该版本还提供了新版预编译二进制文件,适用于 Apple Silicon、Intel Mac、iOS,以及多个 Ubuntu 版本(CPU、Vulkan、CUDA)。

为什么重要

开发者可以获得准确的 token 用量数据,从而更好地监控运行多个补全任务时的成本和性能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。