OpenBMB har lagt till en GGUF-kvantiserad version av MiniCPM-V-4.7-35B-A3B-DSpark på Hugging Face. Kontrollpunkten för utkastmodellen fungerar tillsammans med den matchande MiniCPM-V-målmodellen för spekulativ avkodning, vilket gör det möjligt att generera upp till 15 utkasttoken per framåtpass. Den kan köras med llama.cpp eller vLLM med de angivna kommandoradsflaggorna. Modellen hanterar indata med både bild och text och använder BF16-precision i originalvikterna.
Varför det spelar roll
Utvecklare kan nu köra en stor multimodal modell snabbare på konsumenthårdvara med hjälp av den lätta GGUF-utkastmodellen.
