AWS ने अपने vLLM सर्विंग स्टैक में दोनों दिशाओं में KV कैश ट्रांसफ़र की सुविधा जोड़ी है। इससे डिकोड नोड, पहले से गणना किए गए KV ब्लॉक अगले टर्न के लिए प्रीफ़िल नोड को वापस भेज सकता है और वही काम दोहराने की ज़रूरत नहीं पड़ती। EFA के साथ EC2 P5en इंस्टेंस पर सिंगल-प्रीफ़िल-सिंगल-डिकोड (1P1D) सेटअप में किए गए परीक्षणों में, Qwen3‑32B के लिए टाइम-टू-फ़र्स्ट-टोकन 1.6× तक और GLM‑5‑FP8 के लिए 3.3× तक घटा। यह सुविधा Trainium और GPU—दोनों तरह के क्लस्टर पर काम करती है और इसे TTL तथा री-कम्प्यूट थ्रेशोल्ड के ज़रिए कॉन्फ़िगर किया जा सकता है।
यह क्यों मायने रखता है
संवादी असिस्टेंट बनाने वाले डेवलपर चैट हिस्ट्री बढ़ने पर भी जवाब देने की गति तेज़ रख सकते हैं और एक्सेलरेटर की लागत बचा सकते हैं।
