Amazon anunció que SGLang-Neuron está disponible públicamente a través de un contenedor de aprendizaje profundo de AWS. El complemento conecta el sistema de inferencia de SGLang con los chips de IA AWS Trainium y permite lanzar modelos y generar rollouts de RL mediante la conocida API de SGLang. Funciona con PyTorch nativo y admite funciones como la arquitectura de mezcla de expertos y la transferencia de la caché KV a través de Elastic Fabric Adapter. Una guía de inicio rápido muestra cómo ejecutar el contenedor en una instancia EC2 Trainium3 y ofrecer un modelo de 120.000 millones de parámetros.
Por qué importa
Ahora los desarrolladores pueden ejecutar modelos de lenguaje muy grandes en los chips Trainium de AWS sin modificar su código de SGLang, lo que reduce los costos y simplifica la implementación.
