OpenBMB نسخه‌ای کوانتیزه‌شده با فرمت GGUF از MiniCPM‑V‑4.7‑35B‑A3B‑DSpark را به Hugging Face افزوده است. این چک‌پوینت پیش‌نویس با مدل هدف متناظر MiniCPM‑V برای رمزگشایی گمانه‌زنانه کار می‌کند و در هر گذر رو به جلو تا 15 توکن پیش‌نویس تولید می‌کند. می‌توان آن را با استفاده از پرچم‌های خط فرمان ارائه‌شده در llama.cpp یا vLLM اجرا کرد. مدل از ورودی‌های تصویر و متن پشتیبانی می‌کند و وزن‌های اصلی آن با دقت BF16 اجرا می‌شوند.
چرا مهم است
توسعه‌دهندگان حالا می‌توانند با استفاده از پیش‌نویس سبک‌وزن GGUF، مدل چندوجهی بزرگی را سریع‌تر روی سخت‌افزار مصرفی اجرا کنند.
