ggml-orgチームは、llama.cppのバージョンb11685を公開した。q4_Kおよびq5_Kの重みの逆量子化に、「wide stores」と呼ばれるSYCL最適化を追加している。このリリースには、macOS Apple Silicon、macOS Intel、iOS用のほか、Ubuntu向けの複数のビルド(CPU、Vulkan、CUDA 12.8)が含まれる。今回の変更は、SYCL対応GPUで量子化モデルの推論を高速化することを目的としている。
なぜ重要か
SYCL対応GPUで量子化LLMをより高速に実行できるようになり、AIアプリ向けに低コストなハードウェアの選択肢が広がる。