SGLang-projektet har släppt version 0.5.22. Den gör DeepSeek‑V4.1 upp till 2.3× snabbare på NVIDIA H200-GPU:er och lägger till stöd för AMD MI350X/MI355X med upp till 1.9× högre genomströmning. Nya modeller som EmbeddingGemma 2 och Kandinsky 6 ingår nu. Motorn kan nu köras på Mac-datorer med Apple Silicon via standardbackend för PyTorch. Uppdateringen kräver Python 3.11 eller senare.
Varför det spelar roll
Utvecklare kan köra större LLM:er snabbare på fler typer av hårdvara, även Mac-datorer, utan att köpa nya servrar.
