LMSYS Org, de non-profitorganisatie die de opensource-AI-inferentie-engine SGLang onderhoudt, kondigde het SGLang Consortium aan tijdens de openingskeynote van de eerste SGLang Summit in San Francisco. De oprichters zijn NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal en RadixArk. De groep gaat samenwerken met de beheerders van SGLang om de roadmap van het project vorm te geven en opensource-AI-inferentie te verbeteren.
Waarom het ertoe doet
Ontwikkelaars van AI-toepassingen krijgen gecoördineerde ondersteuning van toonaangevende hardware- en cloudproviders, zodat opensource-inferentie sneller en goedkoper wordt.
