Het SGLang-project heeft versie 0.5.22 uitgebracht. DeepSeek‑V4.1 draait hiermee tot 2.3× sneller op NVIDIA H200-GPU’s. Ook is er ondersteuning voor AMD MI350X/MI355X, met een tot 1.9× hogere doorvoer. Nieuwe modellen, waaronder EmbeddingGemma 2 en Kandinsky 6, zijn nu inbegrepen. De engine werkt nu ook op Macs met Apple Silicon via de standaard-PyTorch-backend. Voor de upgrade is Python 3.11 of nieuwer vereist.
Waarom het ertoe doet
Ontwikkelaars kunnen grotere LLM’s sneller draaien op meer soorten hardware, waaronder Macs, zonder nieuwe servers aan te schaffen.
