# Amazon向AWS Trainium开放SGLang-Neuron

> Amazon现已通过公共容器提供SGLang-Neuron，用户可沿用熟悉的SGLang工作流，在Trainium芯片上运行大语言模型。

Oossa · 2026-11-12 · https://oossa.com/zh/amazon-makes-sglang-neuron-available-for-aws-trainium

Amazon宣布，SGLang-Neuron现已通过AWS Deep Learning Container公开提供。该插件将SGLang服务系统与AWS Trainium AI芯片连接起来，用户可以通过熟悉的SGLang API启动模型并生成RL rollout。它基于原生PyTorch运行，并支持混合专家等功能，以及通过Elastic Fabric Adapter传输KV缓存。快速入门指南介绍了如何在Trainium3 EC2实例上启动容器，并提供一个1200亿参数模型的服务。

## 事实

- 公告日期：2026‑11‑12（“Thu Nov 12 2026 23:03:34 GMT+0100”）
- 容器版本：v0.1.0-neuron-py314-sdk-2.33.0

## 为什么重要

开发者现在无需更改SGLang代码，就能在AWS的Trainium芯片上运行超大型语言模型，从而降低成本并简化部署。

## 来源与参考

1. [Deploy frontier AI models on AWS Trainium with SGLang-Neuron](https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/) – AWS, 2026-11-12

最后更新: 2026-11-12