Oossa

vLLM 0.34.0 voegt EFA-ondersteuning toe aan CUDA-images

De release voegt AWS EFA-gebruikersruimtebibliotheken toe aan de standaard-CUDA-image. De -efa-image stuurt NCCL-verkeer voortaan standaard via EFA.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het vLLM-project bracht op 17 november 2026 versie 0.34.0 uit, met bijdragen van 412 mensen. De standaard-CUDA-image bevat nu gebruikersruimtebibliotheken voor AWS Elastic Fabric Adapter (EFA). De aparte -efa-image bevat daarnaast DeepEP, gebouwd voor EFA, en stuurt NCCL-verkeer standaard via EFA.

De release bevat ook wheels voor CUDA 13.0 op x86_64 en arm64, plus CPU- en XPU-builds.

Waarom het ertoe doet

Voor teams die vLLM op AWS gebruiken, zorgen de wijzigingen ervoor dat EFA-componenten standaard beschikbaar zijn in de CUDA-image. De release notes geven echter geen cijfers over eventuele prestatiewinst.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.