Amazon meddelade att SGLang-Neuron nu är offentligt tillgängligt via en AWS Deep Learning Container. Plugin-programmet kopplar ihop SGLang-systemet för modellservering med AWS Trainium AI-chip, så att du kan starta modeller och generera RL-rollouts med det välbekanta SGLang-API:t. Det körs med inbyggt PyTorch och har stöd för funktioner som mixture-of-experts och överföring av KV-cache via Elastic Fabric Adapter. I en snabbstartsguide visas hur du startar containern på en Trainium3 EC2-instans och kör en modell med 120 miljarder parametrar.
Varför det spelar roll
Utvecklare kan nu köra mycket stora språkmodeller på AWS Trainium-chip utan att ändra sin SGLang-kod, vilket sänker kostnaderna och förenklar driftsättningen.
