llama.cpp 项目于 2026 年 10 月 22 日发布 b11811 版本。此次更新加入 Q8_0 SVE 点积 GEMV 和 SVE i8mm GEMM 内核,可加快 ARM CPU 上的量化模型推理。现已提供适用于 macOS Apple Silicon、Intel、iOS 以及多个 Ubuntu 版本(CPU、Vulkan、CUDA 12.8)的预编译二进制文件,可供下载。
为什么重要
开发者无需编写自定义代码,就能在较新的 ARM 硬件和 Linux GPU 上更快地运行 LLaMA 模型。