Oossa

vLLM 0.34.0、CUDAイメージでEFAをサポート

標準のCUDAイメージにAWS EFAのユーザー空間ライブラリを追加。-efaイメージでは、NCCLの通信が標準でEFA経由になる。

短信著者: Oossa公開日: 1 分で読める

vLLMプロジェクトは2026年11月17日、412人の貢献者が参加したバージョン0.34.0をリリースした。標準のCUDAイメージにAWS Elastic Fabric Adapter(EFA)のユーザー空間ライブラリが含まれるようになった。一方、別途提供される-efaイメージにはEFA向けにビルドされたDeepEPが追加され、NCCLの通信は標準でEFA経由に設定されている。

このリリースでは、x86_64およびarm64向けのCUDA 13.0ホイールに加え、CPU版とXPU版のビルドも提供される。

なぜ重要か

AWS上でvLLMを運用するチームにとって、イメージの変更によりCUDAイメージでEFA関連コンポーネントを標準で利用できるようになる。ただし、リリースノートでは性能向上の程度は示されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。