ggml‑org/llama.cppプロジェクトは2026-11-12にバージョンb12328をリリースしました。今回の更新では、バックエンドが先行する分割処理で計算済みの入力だけをプリフェッチするようになり、後で上書きされるテンソルの読み込みを回避します。また、使用中のデバイスでキャッシュされた処理を実行できない場合は、MoE(Mixture of Experts)キャッシュをスキップするチェックを追加し、不要なデータコピーを防ぎます。
なぜ重要か
MoEワークロードに対応できないハードウェアでは、メモリへのアクセスを減らし、推論を高速化できると期待されます。