ggml-org 发布了 llama.cpp b12029,这是其用于运行语言模型软件的新版本。发行说明只列出一项改动:修复 InternVL 的 CLS token 顺序。CLS token 是处理多模态输入时使用的一种特殊 token。下载版本涵盖 macOS、iOS 和多种 Linux 配置,包括 CPU 和 Vulkan 版本。发行说明没有说明这项修复会影响哪些用户或任务。
为什么重要
通过 llama.cpp 运行 InternVL 的用户可能会受益于这项 token 顺序修复,但发行说明没有具体说明其实际效果或影响范围。