Amazon a annoncé la disponibilité publique de SGLang-Neuron dans un conteneur AWS Deep Learning. Ce plugin relie le système d’inférence SGLang aux puces d’IA AWS Trainium et permet de lancer des modèles et de générer des rollouts RL à l’aide de l’API SGLang habituelle. Il fonctionne avec PyTorch natif et prend en charge des fonctionnalités telles que les modèles à mélange d’experts et le transfert du cache KV via Elastic Fabric Adapter. Un guide de démarrage rapide explique comment lancer le conteneur sur une instance EC2 Trainium3 et servir un modèle de 120 milliards de paramètres.
Pourquoi c'est important
Les développeurs peuvent désormais exécuter de très grands modèles de langage sur les puces Trainium d’AWS sans modifier leur code SGLang, ce qui réduit les coûts et simplifie le déploiement.
