Oossa

vLLM 0.34.0 aggiunge il supporto EFA alle immagini CUDA

La versione include le librerie userspace di AWS EFA nell’immagine CUDA predefinita e configura l’immagine -efa per instradare NCCL su EFA per impostazione predefinita.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il progetto vLLM ha rilasciato la versione 0.34.0 il 17 novembre 2026, con contributi di 412 persone. L’immagine CUDA predefinita include ora le librerie nello spazio utente di AWS Elastic Fabric Adapter (EFA), mentre l’immagine separata -efa aggiunge DeepEP compilato per EFA e instrada per impostazione predefinita il traffico NCCL su EFA.

La versione include anche pacchetti wheel per CUDA 13.0 su x86_64 e arm64, oltre a build per CPU e XPU.

Perché conta

Per i team che usano vLLM su AWS, le modifiche alle immagini rendono disponibili per impostazione predefinita i componenti EFA nell’immagine CUDA, ma le note di rilascio non quantificano eventuali miglioramenti delle prestazioni.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.