ggml‑orgチームは2026年10月5日、llama.cppのバージョンb11413をリリースした。今回の更新では、量子化されたキー/バリューのテンソルに対応する疎フラッシュアテンションのVulkan実装が追加された。この変更は「量子化K/V向けの疎フラッシュアテンション」と説明されており、GPUアクセラレーションによる推論を対象としている。リリースには、macOSのApple SiliconからWindowsのCUDAおよびVulkanまで、多数のプラットフォーム向けビルドも記載されている。
なぜ重要か
Vulkanに対応したGPUで量子化モデルをより高速に実行できるようになり、エッジデバイスの計算コストを抑えられる。