オープンソースのAI推論エンジン「SGLang」を運営する非営利団体LMSYS Orgは、サンフランシスコで開催された第1回SGLang Summitの開幕基調講演で、SGLangコンソーシアムの発足を発表した。創設メンバーはNVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk。各社はSGLangのメンテナーと協力し、プロジェクトのロードマップ策定やオープンソースAI推論の改善に取り組む。
なぜ重要か
AIアプリの開発者は、主要なハードウェア企業やクラウドプロバイダーの連携した支援を受け、オープンソース推論の高速化と低コスト化を進められる。