Oossa

llama.cpp、VulkanのKVキャッシュを高速化

オープンソースライブラリのllama.cppが、Vulkan GPU向けにキー・バリューキャッシュを逆量子化する機能に対応。特定のモデルヘッドで処理速度が向上します。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームがllama.cppのバージョンb12291をリリースしました。coopmat2命令を使ってキー・バリューキャッシュを逆量子化する、Vulkanベースの最適化が追加されています。この変更は、クエリトークン数とGQA比に基づくヒューリスティックによって安全と判断された場合にのみ適用されます。また、一部のヘッドサイズでアライメント処理を修正し、この最適化を使えない場合の性能も改善しました。

なぜ重要か

Vulkan対応ハードウェアでLlamaモデルを動かす開発者は、コードを変更せずに推論を高速化できる可能性があります。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。