SGLang项目发布了0.5.22版本。在NVIDIA H200 GPU上，DeepSeek‑V4.1的运行速度最高提升2.3倍；新版本还支持AMD MI350X/MI355X，吞吐量最高提升1.9倍。此外，EmbeddingGemma 2和Kandinsky 6等新模型也已加入。该引擎现可通过标准PyTorch后端在Apple Silicon Mac上运行。升级需要Python 3.11或更高版本。
为什么重要
开发者可以在包括Mac在内的更多硬件上更快运行更大型的LLM，无需购置新服务器。
SGLang 0.5.22提速多款模型，并支持Apple Silicon
这款开源推理引擎升级至0.5.22，提升了多款模型的吞吐量，并新增对Mac的原生支持。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。