AWS, vLLM sunum altyapısına çift yönlü KV önbellek aktarımı ekledi. Bu değişiklik, decode düğümünün önceki turda hesaplanan KV bloklarını sonraki tur için prefill düğümüne geri göndermesine ve hesaplamaların tekrarlanmasını önlemesine olanak tanıyor. EFA’lı EC2 P5en bulut sunucularında tek prefill ve tek decode (1P1D) yapılandırmasıyla yapılan testlerde, ilk token’a kadar geçen süre Qwen3‑32B için 1,6 kata, GLM‑5‑FP8 içinse 3,3 kata kadar kısaldı. Özellik hem Trainium hem de GPU kümelerinde çalışıyor; TTL ve yeniden hesaplama eşikleri üzerinden yapılandırılabiliyor.
Neden önemli
Sohbet asistanı geliştirenler, sohbet geçmişi uzadıkça yanıt sürelerini düşük tutabilir ve hızlandırıcı maliyetlerinden tasarruf edebilir.
