Il motore vLLM ora supporta il trasferimento push della cache key-value (KV). In questo modo, la configurazione del trasferimento dei dati viene gestita sul lato prefill, così l’istanza di decode può iniziare a generare token prima. In un benchmark con configurazione 1 prefill e 1 decode (1P1D), eseguito su istanze EC2 P5en con AWS Elastic Fabric Adapter, la modalità push ha ridotto fino a 3 volte il tempo al primo token e di circa il 30% il tempo per token generato rispetto alla modalità pull predefinita.
Perché conta
Gli sviluppatori che gestiscono servizi LLM ad alto throughput possono ottenere risposte sensibilmente più rapide, soprattutto quando elaborano molti prompt lunghi contemporaneamente.
