# vLLM’de push tabanlı KV aktarımı ilk token gecikmesini azaltıyor

> AWS, yeni push modunun Qwen3‑32B modelinde ilk tokenı 3 kata kadar daha hızlı üretebildiğini ve token başına süreyi %30 azaltabildiğini gösteriyor.

Oossa · 2026-10-19 · https://oossa.com/tr/push-based-kv-transfer-cuts-first-token-latency-in-vllm

vLLM motoru artık push tabanlı anahtar-değer (KV) önbellek aktarımı sunuyor. Veri aktarımı hazırlığını prefill tarafına taşıyan bu yöntem, decode örneğinin token üretmeye daha erken başlamasını sağlıyor. AWS Elastic Fabric Adapter kullanılan EC2 P5en örnekleriyle 1 prefill ve 1 decode (1P1D) düzeninde yapılan kıyaslamada push modu, varsayılan pull moduna kıyasla ilk tokena kadar geçen süreyi 3 kata kadar düşürdü ve çıktı tokenı başına süreyi yaklaşık %30 azalttı.

## Gerçekler

- Qwen3‑32B modelinde TTFT’de 3 kata kadar, TPOT’ta %30’a kadar düşüş
- 2026-10-19 tarihinde EFA kullanılan EC2 P5en GPU örneklerinde test edildi

## Neden önemli

Yüksek hacimli LLM hizmetleri sunan geliştiriciler, özellikle aynı anda çok sayıda uzun istemi işlerken yanıtların belirgin biçimde hızlandığını görebilir.

## Kaynaklar ve referanslar

1. [Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) – AWS, 2026-10-19

Son güncelleme: 2026-10-19