vLLMのプッシュ型KV転送で初回トークンを高速化

vLLMエンジンに、プッシュ型のキー・バリュー（KV）キャッシュ転送機能が加わった。データ転送の準備をプリフィル側で行うため、デコード側のインスタンスはより早くトークン生成を始められる。AWS Elastic Fabric Adapterを備えたEC2 P5enインスタンスを使い、プリフィル1台・デコード1台（1P1D）の構成でベンチマークを実施したところ、デフォルトのプルモードと比べ、プッシュモードでは初回トークン生成時間が最大3分の1になり、出力トークンあたりの時間も約30%短縮された。