Oossa

llama.cpp更新、Anthropic APIのid_slot処理に対応

2026年10月20日のリリースでは、サーバーがセッションを特定のKVキャッシュスロットに固定できるようになり、Anthropicの/v1/messages呼び出しでコンテキストを再プリフィルする必要がなくなります。

短信著者: Oossa公開日: 1 分で読める

オープンソースプロジェクトのllama.cppは2026年10月20日、バージョンb11756をリリースしました。この変更により、サーバーはAnthropicの/v1/messagesリクエストに含まれるid_slotフィールドを、内部のOAI形式のボディに引き継ぎます。これにより、プロキシはセッションを特定のKVキャッシュスロットに固定でき、リクエストのたびにモデルがコンテキストを再度読み込むのを防げます。id_slotを含むリクエストが正しいスロットで処理されることを確認する新しいテストも追加されました。

なぜ重要か

Anthropic互換APIでllama.cppを使う開発者は、コストのかかるキャッシュの再読み込みを避け、チャットセッションを高速に保てます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。