OpenBMB, MiniCPM‑V‑4.7‑35B‑A3B‑DSpark’ın GGUF kuantize edilmiş bir sürümünü Hugging Face’e ekledi. Taslak kontrol noktası, spekülatif çözümleme için eşleşen MiniCPM‑V hedef modeliyle birlikte çalışıyor ve her ileri geçişte en fazla 15 taslak belirteç kullanılmasına olanak tanıyor. Model, sağlanan komut satırı seçenekleriyle llama.cpp veya vLLM üzerinden çalıştırılabiliyor. Görsel ve metin girdilerini destekleyen modelin özgün ağırlıkları BF16 hassasiyetinde çalışıyor.
Neden önemli
Geliştiriciler, hafif GGUF taslağını kullanarak büyük çok modlu bir modeli tüketici donanımlarında artık daha hızlı çalıştırabiliyor.
