Oossa

SGLang 0.5.22: مدل‌های سریع‌تر و پشتیبانی از Apple Silicon

موتور استنتاج متن‌باز با انتشار نسخه 0.5.22، سرعت اجرای چند مدل را افزایش داده و پشتیبانی بومی از مک را اضافه کرده است.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه SGLang نسخه 0.5.22 را منتشر کرد. این نسخه اجرای DeepSeek‑V4.1 را روی پردازنده‌های گرافیکی NVIDIA H200 تا 2.3× سریع‌تر می‌کند و با پشتیبانی از AMD MI350X/MI355X، توان عملیاتی را تا 1.9× افزایش می‌دهد. مدل‌های جدیدی مانند EmbeddingGemma 2 و Kandinsky 6 نیز به آن اضافه شده‌اند. این موتور حالا با استفاده از بک‌اند استاندارد PyTorch روی مک‌های مجهز به Apple Silicon اجرا می‌شود. برای ارتقا، به Python 3.11 یا نسخه‌های جدیدتر نیاز دارید.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های زبانی بزرگ‌تر را با سرعت بیشتری روی سخت‌افزارهای متنوع‌تری، از جمله مک، اجرا کنند؛ بی‌آنکه نیازی به خرید سرورهای جدید داشته باشند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.