ggml-orgチームがllama.cppのバージョンb12291をリリースしました。coopmat2命令を使ってキー・バリューキャッシュを逆量子化する、Vulkanベースの最適化が追加されています。この変更は、クエリトークン数とGQA比に基づくヒューリスティックによって安全と判断された場合にのみ適用されます。また、一部のヘッドサイズでアライメント処理を修正し、この最適化を使えない場合の性能も改善しました。
なぜ重要か
Vulkan対応ハードウェアでLlamaモデルを動かす開発者は、コードを変更せずに推論を高速化できる可能性があります。