OpenBMB已在Hugging Face上发布MiniCPM-V-4.7-35B-A3B-DSpark的GGUF量化版本。该草稿检查点可与配套的MiniCPM-V目标模型协同进行推测解码，每次前向传播最多可生成15个草稿token。使用提供的命令行参数，即可通过llama.cpp或vLLM运行。该模型支持图像与文本输入，原始权重采用BF16精度。
为什么重要
开发者现在可以借助轻量级GGUF草稿模型，在消费级硬件上更快地运行大型多模态模型。
OpenBMB发布GGUF量化版MiniCPM-V草稿模型
35B参数的多模态草稿模型（DSpark）现已提供GGUF格式，可用于llama.cpp和vLLM。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。