A OpenBMB adicionou ao Hugging Face uma versão quantizada em GGUF do MiniCPM‑V‑4.7‑35B‑A3B‑DSpark. O checkpoint de rascunho funciona com o modelo-alvo MiniCPM‑V correspondente para decodificação especulativa, permitindo até 15 tokens de rascunho por passagem direta. Ele pode ser executado com llama.cpp ou vLLM usando as opções de linha de comando fornecidas. O modelo aceita entradas de imagem e texto e usa precisão BF16 nos pesos originais.
Por que importa
Desenvolvedores agora podem executar mais rapidamente um grande modelo multimodal em hardware de consumo usando o modelo leve de rascunho em GGUF.
