# vLLMのプッシュ型KV転送で初回トークンを高速化

> AWSによると、新しいプッシュモードではQwen3‑32Bの初回トークン表示が最大3倍速くなり、トークンあたりの時間も30%短縮できる。

Oossa · 2026-10-19 · https://oossa.com/ja/push-based-kv-transfer-cuts-first-token-latency-in-vllm

vLLMエンジンに、プッシュ型のキー・バリュー（KV）キャッシュ転送機能が加わった。データ転送の準備をプリフィル側で行うため、デコード側のインスタンスはより早くトークン生成を始められる。AWS Elastic Fabric Adapterを備えたEC2 P5enインスタンスを使い、プリフィル1台・デコード1台（1P1D）の構成でベンチマークを実施したところ、デフォルトのプルモードと比べ、プッシュモードでは初回トークン生成時間が最大3分の1になり、出力トークンあたりの時間も約30%短縮された。

## 事実

- Qwen3‑32BモデルでTTFTを最大3倍短縮、TPOTを30%短縮
- 2026‑10‑19にEFAを搭載したEC2 P5en GPUインスタンスでテスト

## なぜ重要か

高スループットのLLMサービスを運用する開発者は、とりわけ長いプロンプトを一度に多数処理する際に、応答速度の大幅な向上を期待できる。

## 出典と参考資料

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

最終更新: 2026-10-19