ggml-orgチームは、プロジェクトがサポートするモデルInkling2のattention mask処理を修正したllama.cpp b12549をリリースした。今回の更新では、Inkling2専用の入力を追加し、同じセルからdense attention maskと相対位置バイアスを構築できるようにした。また、統合キャッシュとflash attentionを使う際にグラフの再利用を妨げていた、ハイブリッドメモリモデルのマスク構築処理も修正した。影響を受けていたモデルはLFM2、LFM3、Inkling2。さらに、Inkling2のエキスパート重みスケールと最終ロジットのsoftcapにゼロを設定できるようになった。
なぜ重要か
llama.cppでこれらのハイブリッドメモリモデルを実行するユーザーにとって、今回の修正は統合キャッシュとflash attentionの併用時にグラフを再利用できなかった問題に対処するものだ。リリースノートでは、速度向上の規模は明らかにされていない。