# AWS、双方向KV転送でAIエージェントの初回応答を高速化

> EC2 P5en GPUでKVキャッシュを双方向に共有し、長い会話で初回トークン生成時間を最大3.3倍短縮。

Oossa · 2026-10-19 · https://oossa.com/ja/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWSは、vLLMの推論サービングスタックに双方向KVキャッシュ転送を追加した。この機能により、デコードノードは次のターンに備えて、計算済みのKVブロックをプリフィルノードに送り返せるため、同じ処理を繰り返す必要がなくなる。EFAを搭載したEC2 P5enインスタンスを使うシングル・プリフィル／シングル・デコード（1P1D）構成でのテストでは、初回トークン生成時間（TTFT）がQwen3‑32Bで最大1.6倍、GLM‑5‑FP8で最大3.3倍短縮した。この機能はTrainiumとGPUの両方のクラスターで利用でき、TTLと再計算のしきい値を設定できる。

## 事実

- テスト実施日：2026年10月19日 – "Mon Oct 19 2026 18:03:23 GMT+0200"
- EC2 P5enインスタンスで、TTFTをQwen3‑32Bでは最大1.6倍、GLM‑5‑FP8では最大3.3倍短縮

## なぜ重要か

会話型アシスタントの開発者は、会話履歴が長くなっても応答時間を抑え、アクセラレーターのコストを節約できる。

## 出典と参考資料

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

最終更新: 2026-10-19