# AWS, çok turlu AI ajanlarında ilk yanıt süresini kısalttı

> EC2 P5en GPU’larda çift yönlü KV önbellek paylaşımı, uzun sohbetlerde TTFT’yi 3,3 kata kadar düşürüyor.

Oossa · 2026-10-19 · https://oossa.com/tr/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS, vLLM sunum altyapısına çift yönlü KV önbellek aktarımı ekledi. Bu değişiklik, decode düğümünün önceki turda hesaplanan KV bloklarını sonraki tur için prefill düğümüne geri göndermesine ve hesaplamaların tekrarlanmasını önlemesine olanak tanıyor. EFA’lı EC2 P5en bulut sunucularında tek prefill ve tek decode (1P1D) yapılandırmasıyla yapılan testlerde, ilk token’a kadar geçen süre Qwen3‑32B için 1,6 kata, GLM‑5‑FP8 içinse 3,3 kata kadar kısaldı. Özellik hem Trainium hem de GPU kümelerinde çalışıyor; TTL ve yeniden hesaplama eşikleri üzerinden yapılandırılabiliyor.

## Gerçekler

- 19 Ekim 2026’da test edildi – "Mon Oct 19 2026 18:03:23 GMT+0200"
- EC2 P5en bulut sunucularında Qwen3‑32B için TTFT 1,6 kata, GLM‑5‑FP8 içinse 3,3 kata kadar düştü

## Neden önemli

Sohbet asistanı geliştirenler, sohbet geçmişi uzadıkça yanıt sürelerini düşük tutabilir ve hızlandırıcı maliyetlerinden tasarruf edebilir.

## Kaynaklar ve referanslar

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

Son güncelleme: 2026-10-19