Oossa

vLLM 0.34.0 bringt EFA-Unterstützung in CUDA-Images

Das Release integriert AWS-EFA-Userspace in das Standard-CUDA-Image. Beim Image „-efa“ wird NCCL standardmäßig über EFA geleitet.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das vLLM-Projekt hat am 17. November 2026 Version 0.34.0 veröffentlicht. An der Entwicklung waren 412 Personen beteiligt. Das Standard-CUDA-Image enthält jetzt Userspace-Bibliotheken für den AWS Elastic Fabric Adapter (EFA). Das separate „-efa“-Image enthält außerdem eine für EFA kompilierte Version von DeepEP und leitet NCCL-Datenverkehr standardmäßig über EFA.

Das Release bietet außerdem Wheels für CUDA 13.0 auf x86_64 und arm64 sowie CPU- und XPU-Builds.

Warum es wichtig ist

Für Teams, die vLLM auf AWS einsetzen, sind EFA-Komponenten dank der Änderungen standardmäßig im CUDA-Image verfügbar. Die Release Notes beziffern jedoch keine Leistungssteigerungen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.