OpenBMB ha añadido a Hugging Face una versión cuantizada en GGUF de MiniCPM‑V‑4.7‑35B‑A3B‑DSpark. Este checkpoint borrador funciona junto con el modelo objetivo MiniCPM‑V correspondiente para realizar decodificación especulativa, con hasta 15 tokens borrador por pasada hacia delante. Se puede ejecutar con llama.cpp o vLLM mediante las opciones de línea de comandos proporcionadas. El modelo admite entradas de texto e imágenes y los pesos originales funcionan con precisión BF16.
Por qué importa
Los desarrolladores pueden ejecutar ahora más rápido un modelo multimodal grande en hardware de consumo gracias al modelo borrador ligero en GGUF.
