OpenBMB добавила на Hugging Face версию MiniCPM-V-4.7-35B-A3B-DSpark с квантованием GGUF. Контрольную точку черновой модели можно использовать вместе с соответствующей целевой моделью MiniCPM-V для спекулятивного декодирования — до 15 черновых токенов за один прямой проход. Модель можно запускать с помощью llama.cpp или vLLM, используя указанные параметры командной строки. Она поддерживает ввод изображений и текста, а исходные веса работают с точностью BF16.
Почему это важно
Разработчики теперь могут быстрее запускать большую мультимодальную модель на потребительском оборудовании, используя компактную черновую модель в формате GGUF.
