开源库 llama.cpp 于 2026 年 9 月 30 日发布 b11284 版本。此次更新调整了 OpenVINO 处理权重视图的方式,修复了此前会导致部分量化模型无法运行的 GET_ROWS 拒绝问题。修复方法是将行偏移量纳入 gather 索引,使该视图按普通常量处理。此次发布还列出了一系列新增构建目标,涵盖 macOS Apple Silicon,以及 Linux 和 Windows 上的 CUDA 13。
为什么重要
这项改动让更多量化 LLaMA 模型能在启用 OpenVINO 的设备上正常运行。