Die vLLM-Engine unterstützt jetzt eine Push-basierte Übertragung des Key-Value-Caches (KV-Cache). Dabei wird die Vorbereitung der Datenübertragung auf die Prefill-Seite verlagert, sodass die Decode-Instanz früher mit der Token-Generierung beginnen kann. In einem Benchmark mit einer 1-Prefill-1-Decode-Konfiguration (1P1D) auf EC2-P5en-Instanzen mit AWS Elastic Fabric Adapter senkte der Push-Modus die Zeit bis zum ersten Token um bis zu das Dreifache und die Zeit pro ausgegebenem Token um etwa 30 % gegenüber dem standardmäßigen Pull-Modus.
Warum es wichtig ist
Entwickler, die LLM-Dienste mit hohem Durchsatz betreiben, können deutlich schnellere Antworten erzielen – besonders, wenn sie viele lange Prompts gleichzeitig verarbeiten.
