Amazon은 AWS Deep Learning Container를 통해 SGLang-Neuron을 공개적으로 사용할 수 있다고 발표했습니다. 이 플러그인은 SGLang 서빙 시스템을 AWS Trainium AI 칩과 연결해, 익숙한 SGLang API로 모델을 실행하고 RL 롤아웃을 생성할 수 있게 합니다. 네이티브 PyTorch에서 작동하며, 전문가 혼합(MoE)과 Elastic Fabric Adapter를 통한 KV 캐시 전송 등의 기능을 지원합니다. 빠른 시작 가이드에서는 Trainium3 EC2 인스턴스에서 컨테이너를 실행하고 1200억 개 파라미터 모델을 서빙하는 방법을 소개합니다.
왜 중요한가
개발자는 이제 SGLang 코드를 바꾸지 않고도 AWS Trainium 칩에서 초대형 언어 모델을 실행할 수 있어 비용을 낮추고 배포를 간소화할 수 있습니다.
