De vLLM-engine ondersteunt nu push-overdracht van de key-value-cache (KV-cache). Daardoor wordt de voorbereiding van de gegevensoverdracht verplaatst naar de prefill-kant, zodat de decode-instantie eerder tokens kan gaan genereren. In een benchmark met een 1-prefill-1-decode-opstelling (1P1D) op EC2 P5en-instanties met AWS Elastic Fabric Adapter verlaagde de push-modus de tijd tot het eerste token met maximaal een factor 3 en de tijd per gegenereerd token met ongeveer 30% ten opzichte van de standaard pull-modus.
Waarom het ertoe doet
Ontwikkelaars die LLM-diensten met een hoge doorvoer draaien, kunnen merkbaar snellere reacties bieden, vooral wanneer ze veel lange prompts tegelijk verwerken.
