Amazon hat SGLang-Neuron als öffentlich verfügbaren AWS Deep Learning Container angekündigt. Das Plugin verbindet das Serving-System SGLang mit den KI-Chips AWS Trainium. So lassen sich Modelle starten und RL-Rollouts mit der vertrauten SGLang-API generieren. Es läuft mit nativem PyTorch und unterstützt Funktionen wie Mixture-of-Experts sowie die Übertragung des KV-Caches über Elastic Fabric Adapter. Eine Schnellstartanleitung zeigt, wie sich der Container auf einer Trainium3-EC2-Instanz starten und ein Modell mit 120 Milliarden Parametern bereitstellen lässt.
Warum es wichtig ist
Entwickler können jetzt sehr große Sprachmodelle auf AWS-Trainium-Chips ausführen, ohne ihren SGLang-Code ändern zu müssen. Das senkt die Kosten und vereinfacht die Bereitstellung.
