Amazon объявила, что SGLang-Neuron стал общедоступен в составе AWS Deep Learning Container. Плагин связывает систему обслуживания моделей SGLang с ИИ-чипами AWS Trainium и позволяет запускать модели и генерировать RL-траектории с помощью знакомого API SGLang. Решение работает на нативном PyTorch и поддерживает такие функции, как смесь экспертов (mixture-of-experts) и передачу KV-кэша через Elastic Fabric Adapter. В кратком руководстве показано, как запустить контейнер на инстансе Trainium3 EC2 и обслуживать модель с 120 миллиардами параметров.
Почему это важно
Разработчики теперь могут запускать очень большие языковые модели на чипах Trainium от AWS, не меняя код SGLang. Это снижает затраты и упрощает развертывание.
