OpenBMB heeft een GGUF-gekwantiseerde versie van MiniCPM-V-4.7-35B-A3B-DSpark toegevoegd aan Hugging Face. Het draftcheckpoint werkt samen met het bijbehorende MiniCPM-V-doelmodel voor speculatieve decoding, met maximaal 15 drafttokens per forward pass. Het model kan met de meegeleverde opdrachtregelopties worden uitgevoerd via llama.cpp of vLLM. Het ondersteunt invoer met beeld en tekst en draait met BF16-precisie op basis van de oorspronkelijke gewichten.
Waarom het ertoe doet
Ontwikkelaars kunnen een groot multimodaal model nu sneller op consumentenhardware uitvoeren met behulp van het lichtgewicht GGUF-draftmodel.
