Oossa

vLLM 0.34.0 добавляет поддержку EFA в образы CUDA

В образ CUDA по умолчанию добавлены пользовательские библиотеки AWS EFA, а образ -efa теперь по умолчанию направляет трафик NCCL через EFA.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Проект vLLM выпустил версию 0.34.0 17 ноября 2026 года. В ней приняли участие 412 разработчиков. В образ CUDA по умолчанию теперь входят пользовательские библиотеки AWS Elastic Fabric Adapter (EFA), а отдельный образ -efa включает DeepEP, собранный для EFA, и по умолчанию направляет трафик NCCL через EFA.

В релиз также вошли пакеты wheel для CUDA 13.0 на x86_64 и arm64, а также сборки для CPU и XPU.

Почему это важно

Для команд, запускающих vLLM на AWS, изменения образов означают, что компоненты EFA теперь доступны по умолчанию в образе CUDA. При этом в примечаниях к релизу прирост производительности не указан.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.