# AWS ने AI एजेंट की लंबी बातचीत में शुरुआती जवाब तेज़ किए

> EC2 P5en GPU पर दोनों दिशाओं में KV कैश साझा करने से लंबे संवादों में TTFT 3.3× तक घटा।

Oossa · 2026-10-19 · https://oossa.com/hi/aws-cuts-first-token-latency-for-multi-turn-ai-agents-with-bi-directional-kv-tra

AWS ने अपने vLLM सर्विंग स्टैक में दोनों दिशाओं में KV कैश ट्रांसफ़र की सुविधा जोड़ी है। इससे डिकोड नोड, पहले से गणना किए गए KV ब्लॉक अगले टर्न के लिए प्रीफ़िल नोड को वापस भेज सकता है और वही काम दोहराने की ज़रूरत नहीं पड़ती। EFA के साथ EC2 P5en इंस्टेंस पर सिंगल-प्रीफ़िल-सिंगल-डिकोड (1P1D) सेटअप में किए गए परीक्षणों में, Qwen3‑32B के लिए टाइम-टू-फ़र्स्ट-टोकन 1.6× तक और GLM‑5‑FP8 के लिए 3.3× तक घटा। यह सुविधा Trainium और GPU—दोनों तरह के क्लस्टर पर काम करती है और इसे TTL तथा री-कम्प्यूट थ्रेशोल्ड के ज़रिए कॉन्फ़िगर किया जा सकता है।

## तथ्य

- परीक्षण 19 अक्टूबर 2026 को किया गया – "Mon Oct 19 2026 18:03:23 GMT+0200"
- EC2 P5en इंस्टेंस पर Qwen3‑32B के लिए TTFT 1.6× तक और GLM‑5‑FP8 के लिए 3.3× तक घटा

## यह क्यों मायने रखता है

संवादी असिस्टेंट बनाने वाले डेवलपर चैट हिस्ट्री बढ़ने पर भी जवाब देने की गति तेज़ रख सकते हैं और एक्सेलरेटर की लागत बचा सकते हैं।

## स्रोत और संदर्भ

1. [Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM](https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/) – AWS, 2026-10-19

अंतिम अपडेट: 2026-10-19