Amazon向AWS Trainium开放SGLang-Neuron

Amazon现已通过公共容器提供SGLang-Neuron，用户可沿用熟悉的SGLang工作流，在Trainium芯片上运行大语言模型。

简讯作者： OossaOossa 发布日期: 2026年11月12日 22:06 UTC1 分钟阅读

Amazon宣布，SGLang-Neuron现已通过AWS Deep Learning Container公开提供。该插件将SGLang服务系统与AWS Trainium AI芯片连接起来，用户可以通过熟悉的SGLang API启动模型并生成RL rollout。它基于原生PyTorch运行，并支持混合专家等功能，以及通过Elastic Fabric Adapter传输KV缓存。快速入门指南介绍了如何在Trainium3 EC2实例上启动容器，并提供一个1200亿参数模型的服务。