OpenBMB hat Hugging Face um eine GGUF-quantisierte Version von MiniCPM-V-4.7-35B-A3B-DSpark erweitert. Der Draft-Checkpoint lässt sich beim Speculative Decoding mit dem passenden MiniCPM-V-Zielmodell kombinieren und ermöglicht bis zu 15 Draft-Tokens pro Vorwärtsdurchlauf. Mit den bereitgestellten Befehlszeilenoptionen kann das Modell mit llama.cpp oder vLLM ausgeführt werden. Es unterstützt Bild-Text-Eingaben und arbeitet mit den Originalgewichten mit BF16-Präzision.
Warum es wichtig ist
Entwickler können ein großes multimodales Modell nun mithilfe des schlanken GGUF-Drafts schneller auf Consumer-Hardware ausführen.
