Oossa

پشتیبانی EFA به ایمیج‌های CUDA در vLLM 0.34.0 اضافه شد

در این نسخه، کتابخانه‌های کاربری AWS EFA به ایمیج پیش‌فرض CUDA اضافه شده‌اند و ایمیج ‎-efa به‌طور پیش‌فرض ترافیک NCCL را از طریق EFA هدایت می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه vLLM در 17 نوامبر 2026 نسخه 0.34.0 را با مشارکت 412 نفر منتشر کرد. ایمیج پیش‌فرض CUDA اکنون کتابخانه‌های فضای کاربری AWS Elastic Fabric Adapter (EFA) را در بر دارد. ایمیج جداگانه ‎-efa نیز DeepEP ساخته‌شده برای EFA را اضافه می‌کند و به‌طور پیش‌فرض ترافیک NCCL را از طریق EFA هدایت می‌کند.

این نسخه همچنین wheelهایی برای CUDA 13.0 روی x86_64 و arm64 و نیز نسخه‌هایی برای CPU و XPU ارائه می‌دهد.

چرا مهم است

برای تیم‌هایی که vLLM را روی AWS اجرا می‌کنند، تغییرات ایمیج باعث می‌شود اجزای EFA به‌طور پیش‌فرض در ایمیج CUDA در دسترس باشند؛ اما یادداشت‌های انتشار میزان بهبود عملکرد را مشخص نمی‌کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.