Oossa

Valkey 9.2、AI推論向けの共有キャッシュを追加

オープンソースのデータストアに分散型KVキャッシュが加わり、バックアップ時のメモリ使用量やレプリケーションの通信量、大規模なソート済みセットの負荷を抑える変更も盛り込まれた。

短信著者: Oossa公開日: 1 分で読める

Valkeyはバージョン9.2の一般提供を発表するとともに、AI推論向けのオープンソース分散キーバリューキャッシュを公開した。このキャッシュを使うと、推論エンジンはGPUフリート内で計算済みのプロンプトや会話データを再利用できる。自社で運用するオープンウェイトモデルを使うチームは、LMCacheを介してvLLMやSGLangと接続できる。

Valkeyによると、このキャッシュにより推論コストを最大40%、初回トークンの生成時間を最大80%削減できるという。今回のリリースでは、バックアップに伴うメモリ使用量の急増を防ぐフォークレス・スナップショットや、同社によると通信量を約50%〜65%削減するレプリケーション圧縮も追加された。

なぜ重要か

オープンウェイトモデルを自社のGPUフリートで運用するチームは、LMCacheを介して推論結果を再利用できる。ただし、うたわれている削減効果は同社の主張であり、あらゆるワークロードで保証されるものではない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。