# vLLM 푸시 방식 KV 전송, 첫 토큰 지연 최대 3배 단축

> AWS는 Qwen3‑32B 모델에서 새 푸시 방식으로 첫 토큰이 최대 3배 빨리 나오고 토큰당 처리 시간은 30% 줄어든다고 밝혔다.

Oossa · 2026-10-19 · https://oossa.com/ko/push-based-kv-transfer-cuts-first-token-latency-in-vllm

vLLM 엔진에 푸시 방식의 키-값(KV) 캐시 전송 기능이 추가됐다. 데이터 전송 준비 작업을 프리필 측으로 옮겨 디코드 인스턴스가 더 일찍 토큰 생성을 시작할 수 있도록 한다. AWS Elastic Fabric Adapter를 사용하는 EC2 P5en 인스턴스에서 프리필 1개와 디코드 1개(1P1D) 구성으로 벤치마크를 진행한 결과, 푸시 방식은 기본 풀 방식과 비교해 첫 토큰 생성 시간(TTFT)을 최대 3배 단축하고 출력 토큰당 시간(TPOT)을 약 30% 줄였다.

## 팩트

- Qwen3‑32B 모델에서 TTFT 최대 3배 단축, TPOT 30% 감소
- 2026‑10‑19 EFA를 탑재한 EC2 P5en GPU 인스턴스에서 테스트

## 왜 중요한가

처리량이 많은 LLM 서비스를 운영하는 개발자는 특히 긴 프롬프트를 한꺼번에 많이 처리할 때 응답 속도가 눈에 띄게 빨라질 수 있다.

## 출처 및 참고 자료

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

최종 업데이트: 2026-10-19