オープンソースプロジェクトのllama.cppは2026年10月20日、バージョンb11756をリリースしました。この変更により、サーバーはAnthropicの/v1/messagesリクエストに含まれるid_slotフィールドを、内部のOAI形式のボディに引き継ぎます。これにより、プロキシはセッションを特定のKVキャッシュスロットに固定でき、リクエストのたびにモデルがコンテキストを再度読み込むのを防げます。id_slotを含むリクエストが正しいスロットで処理されることを確認する新しいテストも追加されました。
なぜ重要か
Anthropic互換APIでllama.cppを使う開発者は、コストのかかるキャッシュの再読み込みを避け、チャットセッションを高速に保てます。