OpenBMB ha aggiunto su Hugging Face una versione quantizzata in GGUF di MiniCPM‑V‑4.7‑35B‑A3B‑DSpark. Il checkpoint di bozza funziona con il corrispondente modello target MiniCPM‑V per la decodifica speculativa, consentendo di generare fino a 15 token di bozza per passaggio forward. È possibile eseguirlo con llama.cpp o vLLM usando i flag da riga di comando forniti. Il modello supporta input che combinano immagini e testo e, nei pesi originali, opera con precisione BF16.
Perché conta
Gli sviluppatori possono ora eseguire più velocemente un grande modello multimodale su hardware consumer, sfruttando la bozza GGUF più leggera.
