O projeto SGLang lançou a versão 0.5.22. Ela acelera o DeepSeek‑V4.1 em até 2.3× nas GPUs NVIDIA H200 e adiciona suporte às AMD MI350X/MI355X, com ganho de até 1.9× na capacidade de processamento. Novos modelos, como EmbeddingGemma 2 e Kandinsky 6, também foram incluídos. Agora, o mecanismo pode ser executado em Macs com Apple Silicon usando o backend padrão do PyTorch. Para atualizar, é necessário ter Python 3.11 ou uma versão mais recente.
Por que importa
Desenvolvedores podem executar LLMs maiores e mais rapidamente em mais tipos de hardware, inclusive Macs, sem precisar comprar novos servidores.
