# Amazon bringt SGLang-Neuron für AWS Trainium heraus

> SGLang-Neuron ist jetzt als öffentlicher Container verfügbar. Damit lassen sich große Sprachmodelle auf Trainium-Chips mit dem gewohnten SGLang-Workflow ausführen.

Oossa · 2026-11-12 · https://oossa.com/de/amazon-makes-sglang-neuron-available-for-aws-trainium

Amazon hat SGLang-Neuron als öffentlich verfügbaren AWS Deep Learning Container angekündigt. Das Plugin verbindet das Serving-System SGLang mit den KI-Chips AWS Trainium. So lassen sich Modelle starten und RL-Rollouts mit der vertrauten SGLang-API generieren. Es läuft mit nativem PyTorch und unterstützt Funktionen wie Mixture-of-Experts sowie die Übertragung des KV-Caches über Elastic Fabric Adapter. Eine Schnellstartanleitung zeigt, wie sich der Container auf einer Trainium3-EC2-Instanz starten und ein Modell mit 120 Milliarden Parametern bereitstellen lässt.

## Die Fakten

- Ankündigungsdatum: 2026‑11‑12 ("Thu Nov 12 2026 23:03:34 GMT+0100")
- Containerversion: v0.1.0-neuron-py314-sdk-2.33.0

## Warum es wichtig ist

Entwickler können jetzt sehr große Sprachmodelle auf AWS-Trainium-Chips ausführen, ohne ihren SGLang-Code ändern zu müssen. Das senkt die Kosten und vereinfacht die Bereitstellung.

## Quellen und Referenzen

1. [Deploy frontier AI models on AWS Trainium with SGLang-Neuron](https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/) – AWS, 2026-11-12

Zuletzt aktualisiert: 2026-11-12