Das SGLang-Projekt hat Version 0.5.22 veröffentlicht. DeepSeek‑V4.1 läuft damit auf NVIDIA-H200-GPUs bis zu 2,3× schneller. Außerdem unterstützt die Engine AMD MI350X/MI355X und erreicht dort einen bis zu 1,9× höheren Durchsatz. Neu dabei sind Modelle wie EmbeddingGemma 2 und Kandinsky 6. Die Engine läuft jetzt auch auf Macs mit Apple Silicon und dem standardmäßigen PyTorch-Backend. Für das Upgrade ist Python 3.11 oder neuer erforderlich.
Warum es wichtig ist
Entwickler können größere LLMs auf mehr Hardware schneller ausführen – auch auf Macs, ohne neue Server anschaffen zu müssen.
