Проект SGLang выпустил версию 0.5.22. Она ускоряет DeepSeek‑V4.1 до 2.3× на графических процессорах NVIDIA H200 и добавляет поддержку AMD MI350X/MI355X с пропускной способностью до 1.9× выше. В состав движка вошли новые модели, в том числе EmbeddingGemma 2 и Kandinsky 6. Теперь его можно запускать на компьютерах Mac с Apple Silicon, используя стандартный бэкенд PyTorch. Для обновления требуется Python 3.11 или новее.
Почему это важно
Разработчики могут быстрее запускать более крупные LLM на большем количестве устройств, включая Mac, и им не нужно покупать новые серверы.
