Amazon heeft aangekondigd dat SGLang-Neuron openbaar beschikbaar is via een AWS Deep Learning Container. De plug-in verbindt het SGLang-serving systeem met de AI-chips van AWS Trainium, zodat je modellen kunt starten en RL-rollouts kunt genereren met de vertrouwde SGLang-API. De oplossing draait op native PyTorch en ondersteunt functies als mixture-of-experts en KV-cacheoverdracht via Elastic Fabric Adapter. In een quickstartgids staat hoe je de container start op een Trainium3 EC2-instantie en een model met 120 miljard parameters serveert.
Waarom het ertoe doet
Ontwikkelaars kunnen nu zeer grote taalmodellen draaien op de Trainium-chips van AWS zonder hun SGLang-code aan te passen. Dat drukt de kosten en maakt implementatie eenvoudiger.
