vLLM-motorn har nu stöd för pushbaserad överföring av key-value-cache (KV-cache). Den flyttar förberedelserna för dataöverföringen till prefill-sidan, så att decode-instansen kan börja generera token tidigare. I ett benchmarktest med en 1-prefill-1-decode-konfiguration (1P1D) på EC2 P5en-instanser med AWS Elastic Fabric Adapter minskade pushläget tiden till första token med upp till 3× och sänkte tiden per utdata-token med cirka 30 % jämfört med standardläget, pull.
Varför det spelar roll
Utvecklare som kör LLM-tjänster med hög genomströmning kan få märkbart snabbare svar, särskilt när de hanterar många långa promptar samtidigt.
