أعلنت أمازون إتاحة SGLang-Neuron للجميع عبر حاوية AWS Deep Learning Container. وتربط هذه الإضافة نظام تقديم النماذج SGLang برقائق الذكاء الاصطناعي AWS Trainium، ما يتيح تشغيل النماذج وإنشاء عمليات rollout للتعلم المعزز باستخدام واجهة SGLang المألوفة. وتعمل الإضافة على PyTorch الأصلي، وتدعم ميزات مثل مزيج الخبراء ونقل ذاكرة التخزين المؤقت KV عبر Elastic Fabric Adapter. ويوضح دليل البدء السريع كيفية تشغيل الحاوية على مثيل EC2 مزود بـ Trainium3 وتقديم نموذج يضم 120 مليار مُعامِل.
لماذا يهم
بات بإمكان المطورين تشغيل نماذج لغوية كبيرة جدًا على رقائق Trainium من AWS من دون تغيير شيفرة SGLang، ما يخفض التكلفة ويسهّل النشر.
