OpenBMBは、MiniCPM‑V‑4.7‑35B‑A3B‑DSparkのGGUF量子化版をHugging Faceで公開した。このドラフトチェックポイントは、対応するMiniCPM‑Vのターゲットモデルと組み合わせて投機的デコードに使え、1回のフォワードパスで最大15個のドラフトトークンを生成できる。提供されているコマンドラインフラグを使えば、llama.cppまたはvLLMで実行できる。モデルは画像とテキストの入力に対応し、元の重みはBF16精度で動作する。
なぜ重要か
軽量なGGUFドラフトを活用することで、開発者は一般向けハードウェア上でも大規模なマルチモーダルモデルをより高速に実行できる。