AWSは、vLLMの推論サービングスタックに双方向KVキャッシュ転送を追加した。この機能により、デコードノードは次のターンに備えて、計算済みのKVブロックをプリフィルノードに送り返せるため、同じ処理を繰り返す必要がなくなる。EFAを搭載したEC2 P5enインスタンスを使うシングル・プリフィル／シングル・デコード（1P1D）構成でのテストでは、初回トークン生成時間（TTFT）がQwen3‑32Bで最大1.6倍、GLM‑5‑FP8で最大3.3倍短縮した。この機能はTrainiumとGPUの両方のクラスターで利用でき、TTLと再計算のしきい値を設定できる。
なぜ重要か
会話型アシスタントの開発者は、会話履歴が長くなっても応答時間を抑え、アクセラレーターのコストを節約できる。
