A Amazon anunciou que o SGLang-Neuron está disponível publicamente por meio de um contêiner de aprendizado profundo da AWS. O plug-in conecta o sistema de inferência SGLang aos chips de IA AWS Trainium, permitindo iniciar modelos e gerar rollouts de RL usando a conhecida API do SGLang. Ele funciona com PyTorch nativo e oferece suporte a recursos como mistura de especialistas e transferência de cache KV pelo Elastic Fabric Adapter. Um guia de início rápido mostra como iniciar o contêiner em uma instância EC2 Trainium3 e servir um modelo com 120 bilhões de parâmetros.
Por que importa
Agora, os desenvolvedores podem executar modelos de linguagem muito grandes nos chips Trainium da AWS sem alterar o código SGLang, reduzindo custos e simplificando a implantação.
