llama.cppプロジェクトは2026-10-15にバージョンb11642をリリースしました。今回の更新では、サーバーによるプロンプトキャッシュのスロット管理方法が変わりました。後から復元できるスロットだけが保存されるため、rerank、embedding、decision、infillの各タスクで使われていないスロットがキャッシュを圧迫しなくなります。decisionタスクは、--cache-ramフラグを指定しない限り、キャッシュを一切使用しません。これによりRAM使用量が減り、不要なキャッシュの入れ替わりも防げます。
なぜ重要か
限られたハードウェアでllama.cppを動かす開発者は、メモリ使用量の削減とキャッシュ関連の速度低下の抑制を期待できます。
