Oossa

llama.cpp、量子化K/V向けのVulkan疎フラッシュアテンションに対応

オープンソースのLLMランタイムに、量子化K/Vデータを扱うVulkanベースの疎フラッシュアテンション機能が加わった。

短信著者: Oossa公開日: 1 分で読める

ggml‑orgチームは2026年10月5日、llama.cppのバージョンb11413をリリースした。今回の更新では、量子化されたキー/バリューのテンソルに対応する疎フラッシュアテンションのVulkan実装が追加された。この変更は「量子化K/V向けの疎フラッシュアテンション」と説明されており、GPUアクセラレーションによる推論を対象としている。リリースには、macOSのApple SiliconからWindowsのCUDAおよびVulkanまで、多数のプラットフォーム向けビルドも記載されている。

なぜ重要か

Vulkanに対応したGPUで量子化モデルをより高速に実行できるようになり、エッジデバイスの計算コストを抑えられる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。