AWSはAmazon ElastiCache for Valkeyに分散型のキー・バリュー(KV)キャッシュを追加した。自社運用のAIモデルが、GPUサーバー間でキャッシュ済みのコンテキストを共有できる。AWSによると、このサービスで推論コストを最大40%、モデルが応答を始めるまでの時間(最初のトークンが出るまでの待ち時間)を最大80%削減できる。これらはAWSが報告した最大削減率であり、すべてのワークロードで効果が保証されるわけではない。
共有キャッシュは再利用できるモデルの状態を保存し、別のサーバーがその状態を引き継ぐことで、再計算を避けられる。チャットやエージェントが複数のやり取りにわたって同じ長いコンテキストを送る場合や、リクエストがサーバー間を移動する場合に役立つ。AWSによると、キャッシュした状態は数日間保持でき、数ミリ秒で取り出せる。
仕組み
キャッシュは、GPU群と同じAWSアベイラビリティーゾーン内にあるcache.i8ge.48xlargeノードで稼働し、Elastic Fabric Adapter経由のRDMAでデータを転送する。利用にはElastiCache for Valkey 9.1以降が必要。LMCacheコネクターを使えば、既存のvLLM、SGLang、TensorRT-LLMの環境に設定変更を加えるだけで接続できる。
AWSによると、このサービスは推論エンジンとLMCacheがサポートするオープンウェイトモデル、ファインチューニング済みモデル、自社学習モデルで利用できる。ドキュメントには、Qwen、Kimi、GPT-OSS、DeepSeek、Gemma、GLMなどのモデルファミリーが挙げられている。サービスは13リージョンで提供されており、内訳は北米が3、欧州が3、アジア太平洋が7。
どのようなワークロードに向いているか
AWSによると、このキャッシュは、長時間または複数ターンにわたるセッション、コンテキストの再利用、多数のGPUサーバーに分散するトラフィックに最適だ。コーディングエージェント、共有システムプロンプト、長文コンテキストや検索拡張生成などが例として挙げられる。一方、再利用されない短いプロンプト、翻訳やモデレーションなどのタスク、出力生成が大半を占めるワークロード、拡散モデルでは効果が小さい可能性がある。
導入前には、オープンソースのKVTraceを無料で使い、記録済みのvLLMまたはSGLangのトラフィックを基に、キャッシュヒット率、推定節約額、損益分岐価格をシミュレーションできる。AWSはクラスターを削除するまで、キャッシュノードごとに時間単位で課金する。同じアベイラビリティーゾーン内にあるGPUホストとキャッシュ間のデータ転送は無料だという。実際のノード料金は、AWSの現行価格によって異なる。
なぜ重要か
自社のGPUサーバーで複数ターンのチャットやコーディングエージェントを動かすチームにとって、共有キャッシュは計算の繰り返しを減らし、既存ハードウェアでより多くのリクエストを処理する助けになる可能性がある。AWSが示す削減率は最大値のため、自社のトラフィックで効果を検証し、推定節約額とキャッシュノードの時間料金を比較する必要がある。