Oossa

llama.cpp、flash attention演算に対応

オープンソースのllama.cppライブラリがggml-zdnn経由でflash attention演算をサポート。2026年10月20日に発表された。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは2026年10月20日、llama.cppのバージョンb11759をリリースした。このアップデートでは、ggml-zdnnバックエンドにflash attention演算(fattn)が追加され、scratch slotsがscratch buffer poolに置き換えられた。この変更はコントリビューターのAaron Teoが承認している。Flash attentionは、大規模言語モデルが使うattention計算を高速化する。

なぜ重要か

Flash attentionにより、llama.cppをローカルで実行するユーザーの推論時間が短縮され、チャット形式のモデルをより快適に使える可能性がある。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。