Oossa

vLLM 0.34.0 ger EFA-stöd i CUDA-avbildningarna

Den nya versionen inkluderar AWS EFA:s användarbibliotek i standardavbildningen för CUDA. Avbildningen -efa konfigureras så att NCCL som standard skickar trafik via EFA.

NotisAv Publicerad av Oossa: 1 min läsning

vLLM-projektet släppte version 0.34.0 den 17 november 2026, med bidrag från 412 personer. Standardavbildningen för CUDA innehåller nu AWS Elastic Fabric Adapter-bibliotek (EFA) för användarutrymmet. Den separata avbildningen -efa innehåller dessutom DeepEP som byggts för EFA och skickar som standard NCCL-trafik via EFA.

Versionen innehåller också paket för CUDA 13.0 på x86_64 och arm64, samt byggen för CPU och XPU.

Varför det spelar roll

För team som kör vLLM på AWS innebär ändringarna att EFA-komponenter nu ingår som standard i CUDA-avbildningen. Versionsinformationen anger dock inga mätbara prestandavinster.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.