Oossa

SGLang 0.5.22 accelera i modelli e supporta Apple Silicon

La nuova versione 0.5.22 del motore open source per l’inferenza aumenta le prestazioni su diversi modelli e introduce il supporto nativo per Mac.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il progetto SGLang ha rilasciato la versione 0.5.22. DeepSeek‑V4.1 è fino a 2.3× più veloce sulle GPU NVIDIA H200; arriva inoltre il supporto per AMD MI350X/MI355X, con un throughput fino a 1.9× superiore. Sono stati aggiunti nuovi modelli, tra cui EmbeddingGemma 2 e Kandinsky 6. Il motore ora può essere eseguito sui Mac con Apple Silicon usando il backend PyTorch standard. Per aggiornare è necessario Python 3.11 o una versione successiva.

Perché conta

Gli sviluppatori possono eseguire LLM più grandi e più velocemente su una gamma più ampia di hardware, compresi i Mac, senza dover acquistare nuovi server.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.