SGLangプロジェクトはバージョン0.5.22をリリースしました。NVIDIA H200 GPUではDeepSeek-V4.1の処理速度が最大2.3倍に向上し、AMD MI350X/MI355Xにも対応して最大1.9倍のスループットを実現します。EmbeddingGemma 2やKandinsky 6などの新しいモデルも利用可能になりました。また、標準のPyTorchバックエンドを使って、Apple Silicon搭載Macで実行できるようになりました。アップグレードにはPython 3.11以降が必要です。
なぜ重要か
開発者は新しいサーバーを購入しなくても、Macを含む幅広いハードウェアで、より大規模なLLMを高速に実行できます。
