llama.cppプロジェクトは2026年10月22日、バージョンb11811をリリースした。今回のアップデートでは、Q8_0 SVEドット積GEMVカーネルとSVE i8mm GEMMカーネルが追加され、ARM CPUでの量子化モデルの推論が高速化する。macOSのApple SiliconおよびIntel向け、iOS向けに加え、Ubuntu向けの複数のビルド(CPU、Vulkan、CUDA 12.8)のコンパイル済みバイナリもダウンロードできる。
なぜ重要か
開発者はカスタムコードを書かずに、新しいARMハードウェアやLinux GPUでLLaMAモデルをより高速に実行できる。