Oossa

OpenBMB、MiniCPM‑VのGGUF量子化ドラフトモデルを公開

350億パラメーターのマルチモーダルモデルのドラフト版(DSpark)がGGUF形式で公開され、llama.cppとvLLMで利用できる。

短信著者: Oossa公開日: 1 分で読める

OpenBMBは、MiniCPM‑V‑4.7‑35B‑A3B‑DSparkのGGUF量子化版をHugging Faceで公開した。このドラフトチェックポイントは、対応するMiniCPM‑Vのターゲットモデルと組み合わせて投機的デコードに使え、1回のフォワードパスで最大15個のドラフトトークンを生成できる。提供されているコマンドラインフラグを使えば、llama.cppまたはvLLMで実行できる。モデルは画像とテキストの入力に対応し、元の重みはBF16精度で動作する。

なぜ重要か

軽量なGGUFドラフトを活用することで、開発者は一般向けハードウェア上でも大規模なマルチモーダルモデルをより高速に実行できる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。