Le moteur vLLM propose désormais un transfert push du cache clé-valeur (KV). La configuration du transfert des données est ainsi prise en charge du côté du prefill, ce qui permet à l’instance de décodage de commencer à générer des tokens plus tôt. Lors d’un benchmark sur une configuration 1 prefill–1 decode (1P1D), avec des instances EC2 P5en équipées de l’AWS Elastic Fabric Adapter, le mode push a réduit jusqu’à 3 fois le délai avant le premier token et diminué d’environ 30 % le temps par token généré, par rapport au mode pull par défaut.
Pourquoi c'est important
Les développeurs qui exploitent des services LLM à haut débit peuvent obtenir des réponses sensiblement plus rapides, surtout lorsqu’ils traitent simultanément de nombreux prompts longs.
