OpenBMB a ajouté sur Hugging Face une version quantifiée en GGUF de MiniCPM‑V‑4.7‑35B‑A3B‑DSpark. Ce checkpoint draft fonctionne avec le modèle cible MiniCPM‑V correspondant pour le décodage spéculatif, avec jusqu’à 15 tokens draft par passe avant. Il peut être exécuté avec llama.cpp ou vLLM à l’aide des options de ligne de commande fournies. Le modèle prend en charge les entrées texte et image, et les poids d’origine utilisent une précision BF16.
Pourquoi c'est important
Les développeurs peuvent désormais exécuter plus rapidement un grand modèle multimodal sur du matériel grand public grâce au modèle draft léger au format GGUF.
