オープンソースのLLM推論ライブラリvLLM 0.31.0では、事後量子化した重みをエンジンの再起動後もGPUメモリに保持するプリロード用CLIが導入された。
短信著者： OossaOossa公開日: 1 分で読める
vLLMプロジェクトは2026年10月5日、バージョン0.31.0をリリースした。目玉は新しいプリロードコマンドで、重みキャッシュのデーモンを起動し、サーバー再起動後も事後量子化したモデルの重みをGPUメモリに保持できる。この機能はデータ並列処理に対応し、ヘルスチェック用エンドポイントも追加する。今回のリリースには、307人のコントリビューターによる717件のコミットも含まれる。
大規模モデルを再読み込みせずにLLMサービスを更新・再起動できるため、vLLMを利用するアプリケーションの停止時間を短縮できる。
モデル
ヴァリューズの調査では、ChatGPTの月間利用者数は2024年6月の336万人から2026年5月に2,670万人へ増加。サービス間の重複を含む推計値です。
モデル
小型言語モデル「Qwen3.5 0.8B」が、GPT-5へのプロンプトより低コストかつ高精度で、英語学習者の文法習得度を追跡する。
モデル
新サービス「OSS Scanner」はClaude Mythosを使い、オープンソースプロジェクトに脆弱性の定期レポートを無料で届ける。
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。
