Amazon、SGLang-NeuronをAWS Trainium向けに提供開始

Amazonは、AWS Deep Learning Containerを通じてSGLang-Neuronの一般提供を開始したと発表した。このプラグインは、SGLangのサービングシステムとAWS Trainium AIチップを連携させ、使い慣れたSGLang APIでモデルを起動し、RLロールアウトを生成できる。ネイティブのPyTorch上で動作し、Mixture of ExpertsやElastic Fabric Adapter経由のKVキャッシュ転送などの機能に対応する。クイックスタートガイドでは、Trainium3搭載のEC2インスタンスでコンテナを起動し、1,200億パラメーターのモデルをサービングする方法を紹介している。