Valkeyはバージョン9.2の一般提供を発表するとともに、AI推論向けのオープンソース分散キーバリューキャッシュを公開した。このキャッシュを使うと、推論エンジンはGPUフリート内で計算済みのプロンプトや会話データを再利用できる。自社で運用するオープンウェイトモデルを使うチームは、LMCacheを介してvLLMやSGLangと接続できる。
Valkeyによると、このキャッシュにより推論コストを最大40%、初回トークンの生成時間を最大80%削減できるという。今回のリリースでは、バックアップに伴うメモリ使用量の急増を防ぐフォークレス・スナップショットや、同社によると通信量を約50%〜65%削減するレプリケーション圧縮も追加された。
なぜ重要か
オープンウェイトモデルを自社のGPUフリートで運用するチームは、LMCacheを介して推論結果を再利用できる。ただし、うたわれている削減効果は同社の主張であり、あらゆるワークロードで保証されるものではない。