OpenBMB ने MiniCPM‑V‑4.7‑35B‑A3B‑DSpark का GGUF‑क्वांटाइज़्ड संस्करण Hugging Face पर उपलब्ध कराया है। यह ड्राफ्ट चेकपॉइंट स्पेक्युलेटिव डिकोडिंग के लिए संबंधित MiniCPM‑V टारगेट मॉडल के साथ काम करता है और हर फ़ॉरवर्ड पास में अधिकतम 15 ड्राफ्ट टोकन इस्तेमाल करने देता है। इसे दिए गए कमांड‑लाइन फ़्लैग्स के साथ llama.cpp या vLLM पर चलाया जा सकता है। मॉडल विज़न‑टेक्स्ट इनपुट को सपोर्ट करता है और इसके मूल वेट BF16 प्रिसिजन में चलते हैं।
यह क्यों मायने रखता है
हल्के GGUF ड्राफ्ट की मदद से डेवलपर अब उपभोक्ता-स्तर के हार्डवेयर पर बड़े मल्टीमॉडल मॉडल को तेज़ी से चला सकते हैं।
