llama.cpp 项目发布了新版本 b11707，新增 GraniteSwitchDecisionFullOptions 功能。该功能允许每个开关模型使用最多 256 种独特的单 token 标记，高于此前的 66 种。代码会自动识别哪些字符在特定模型的词表中对应单 token 条目。这项改动位于 C++ 转换层，并已记录在发行说明中。
为什么重要
开发者可以为 Granite 模型构建更丰富的决策提示词，无需手动编制 token 列表。
llama.cpp 将单 token 开关选项支持扩展至 256 种
开源库 llama.cpp 现在可为 Granite 开关模型映射最多 256 种不同的选项标记。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。