Oossa

vLLM 0.34.0 adiciona suporte a EFA às imagens CUDA

A versão inclui as bibliotecas de usuário do AWS EFA na imagem CUDA padrão e configura a imagem -efa para direcionar o tráfego do NCCL pelo EFA por padrão.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto vLLM lançou a versão 0.34.0 em 17 de novembro de 2026, com contribuições de 412 pessoas. A imagem CUDA padrão agora inclui bibliotecas de usuário do AWS Elastic Fabric Adapter (EFA), enquanto a imagem separada -efa adiciona o DeepEP compilado para EFA e direciona o tráfego do NCCL pelo EFA por padrão.

A versão também oferece wheels para CUDA 13.0 em x86_64 e arm64, além de builds para CPU e XPU.

Por que importa

Para equipes que executam o vLLM na AWS, as mudanças nas imagens disponibilizam componentes EFA por padrão na imagem CUDA, mas as notas da versão não quantificam ganhos de desempenho.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.