SGLang प्रोजेक्ट ने वर्ज़न 0.5.22 जारी किया है। यह NVIDIA H200 GPU पर DeepSeek‑V4.1 की रफ़्तार 2.3× तक बढ़ाता है और AMD MI350X/MI355X के लिए सपोर्ट जोड़ता है, जहां थ्रूपुट 1.9× तक बढ़ता है। EmbeddingGemma 2 और Kandinsky 6 जैसे नए मॉडल भी अब इसमें शामिल हैं। अब यह इंजन मानक PyTorch बैकएंड का इस्तेमाल करके Apple Silicon वाले Mac पर चल सकता है। अपग्रेड के लिए Python 3.11 या नया वर्ज़न ज़रूरी है।
यह क्यों मायने रखता है
डेवलपर नए सर्वर खरीदे बिना Mac समेत ज़्यादा तरह के हार्डवेयर पर बड़े LLM तेज़ी से चला सकते हैं।
