Oossa

vLLM 0.34.0 为 CUDA 镜像加入 EFA 支持

此版本将 AWS EFA 用户态组件加入默认 CUDA 镜像,并让 -efa 镜像默认通过 EFA 传输 NCCL 流量。

简讯作者: Oossa 发布日期: 1 分钟阅读

vLLM 项目于 2026 年 11 月 17 日发布 0.34.0 版本,共有 412 人参与贡献。默认 CUDA 镜像现已包含 AWS Elastic Fabric Adapter(EFA)用户态库;单独的 -efa 镜像则加入了针对 EFA 构建的 DeepEP,并默认通过 EFA 传输 NCCL 流量。

此版本还提供适用于 x86_64 和 arm64 的 CUDA 13.0 wheel,以及 CPU 和 XPU 构建版本。

为什么重要

对于在 AWS 上运行 vLLM 的团队,这些镜像调整让默认 CUDA 镜像即可使用 EFA 组件,但发布说明并未量化性能提升。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。