Amazon ha annunciato che SGLang-Neuron è disponibile al pubblico tramite un AWS Deep Learning Container. Il plugin collega il sistema di serving SGLang ai chip AI AWS Trainium e consente di avviare modelli e generare rollout RL usando la nota API SGLang. Funziona con PyTorch nativo e supporta funzionalità come il mixture-of-experts e il trasferimento della cache KV tramite Elastic Fabric Adapter. Una guida introduttiva mostra come avviare il container su un’istanza EC2 Trainium3 e servire un modello da 120 miliardi di parametri.
Perché conta
Gli sviluppatori possono ora eseguire modelli linguistici di grandi dimensioni sui chip Trainium di AWS senza modificare il codice SGLang, riducendo i costi e semplificando la distribuzione.
