Oossa

llama.cpp 为分词器新增可选 NFC 规范化

这款开源 LLaMA 推理库现已支持为 Unigram 分词器启用 Unicode NFC 规范化。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队于 14 Oct 2026 发布 llama.cpp b11612 版本。此次更新为 Unigram 分词器新增了可选的 NFC(规范化形式 C)处理步骤,有助于改善对 Unicode 文本的处理。该改动在 Codex 的协助下完成,同时还清理了部分测试文件和代码检查警告。此版本也列出了适用于多种平台的构建版本,从 Apple Silicon Mac 到搭载 CUDA 13 的 Windows 设备均包括在内。

为什么重要

运行 LLaMA 模型的开发者现在可以更一致地处理带重音符号或由多个字符组合而成的文字,从而减少多语言应用中出现意外输出的情况。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。