SGLang projesi 0.5.22 sürümünü yayımladı. NVIDIA H200 GPU’larda DeepSeek‑V4.1’i 2.3 kata kadar hızlandırıyor ve AMD MI350X/MI355X desteğiyle işlem hacmini 1.9 kata kadar artırıyor. EmbeddingGemma 2 ve Kandinsky 6 gibi yeni modeller de eklendi. Motor artık standart PyTorch arka ucunu kullanarak Apple Silicon’lı Mac’lerde çalışabiliyor. Yükseltme için Python 3.11 veya daha yeni bir sürüm gerekiyor.
Neden önemli
Geliştiriciler, yeni sunucular satın almadan Mac’ler de dahil olmak üzere daha fazla donanımda daha büyük LLM’leri daha hızlı çalıştırabilir.
