آمازون اعلام کرد SGLang-Neuron از طریق یک کانتینر AWS Deep Learning به‌صورت عمومی در دسترس است. این افزونه سامانه سرو SGLang را به تراشه‌های هوش مصنوعی AWS Trainium متصل می‌کند و به شما امکان می‌دهد مدل‌ها را اجرا کنید و با استفاده از API آشنای SGLang، rolloutهای RL بسازید. این ابزار بر پایه PyTorch بومی اجرا می‌شود و از قابلیت‌هایی مانند معماری mixture-of-experts و انتقال KV-cache از طریق Elastic Fabric Adapter پشتیبانی می‌کند. راهنمای شروع سریع نشان می‌دهد چطور کانتینر را روی یک نمونه EC2 مبتنی بر Trainium3 راه‌اندازی کنید و مدلی با 120 میلیارد پارامتر را سرو کنید.
چرا مهم است
توسعه‌دهندگان اکنون می‌توانند مدل‌های زبانی بسیار بزرگ را روی تراشه‌های Trainium آمازون اجرا کنند، بی‌آنکه کد SGLang خود را تغییر دهند؛ این کار هزینه را کاهش می‌دهد و استقرار را ساده‌تر می‌کند.
