Oossa

llama.cpp更新、バックエンドのプリフェッチ処理を改善

b12328ではプリフェッチの条件を見直し、非対応デバイスではMoEキャッシュを省略します。

短信著者: Oossa公開日: 1 分で読める

ggml‑org/llama.cppプロジェクトは2026-11-12にバージョンb12328をリリースしました。今回の更新では、バックエンドが先行する分割処理で計算済みの入力だけをプリフェッチするようになり、後で上書きされるテンソルの読み込みを回避します。また、使用中のデバイスでキャッシュされた処理を実行できない場合は、MoE(Mixture of Experts)キャッシュをスキップするチェックを追加し、不要なデータコピーを防ぎます。

なぜ重要か

MoEワークロードに対応できないハードウェアでは、メモリへのアクセスを減らし、推論を高速化できると期待されます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。