Le projet SGLang a publié la version 0.5.22. Celle-ci accélère DeepSeek‑V4.1 jusqu’à 2.3× sur les GPU NVIDIA H200 et prend en charge les AMD MI350X/MI355X, avec un débit jusqu’à 1.9× supérieur. De nouveaux modèles, dont EmbeddingGemma 2 et Kandinsky 6, sont désormais inclus. Le moteur peut maintenant fonctionner sur les Mac équipés d’une puce Apple Silicon avec le backend PyTorch standard. La mise à niveau nécessite Python 3.11 ou une version ultérieure.
Pourquoi c'est important
Les développeurs peuvent exécuter des LLM plus volumineux et plus rapidement sur davantage de matériel, y compris des Mac, sans acheter de nouveaux serveurs.
