vLLM motoru artık push tabanlı anahtar-değer (KV) önbellek aktarımı sunuyor. Veri aktarımı hazırlığını prefill tarafına taşıyan bu yöntem, decode örneğinin token üretmeye daha erken başlamasını sağlıyor. AWS Elastic Fabric Adapter kullanılan EC2 P5en örnekleriyle 1 prefill ve 1 decode (1P1D) düzeninde yapılan kıyaslamada push modu, varsayılan pull moduna kıyasla ilk tokena kadar geçen süreyi 3 kata kadar düşürdü ve çıktı tokenı başına süreyi yaklaşık %30 azalttı.
Neden önemli
Yüksek hacimli LLM hizmetleri sunan geliştiriciler, özellikle aynı anda çok sayıda uzun istemi işlerken yanıtların belirgin biçimde hızlandığını görebilir.
