OpenBMB가 MiniCPM-V-4.7-35B-A3B-DSpark의 GGUF 양자화 버전을 Hugging Face에 추가했다. 이 초안 체크포인트는 이에 대응하는 MiniCPM-V 타깃 모델과 함께 추측 디코딩에 사용할 수 있으며, 순전파 한 번에 초안 토큰을 최대 15개 생성한다. 제공된 명령줄 플래그를 사용해 llama.cpp 또는 vLLM에서 실행할 수 있다. 이 모델은 이미지와 텍스트 입력을 지원하며, 원본 가중치에서는 BF16 정밀도로 실행된다.
왜 중요한가
개발자는 경량 GGUF 초안 모델을 활용해 일반 소비자용 하드웨어에서 대형 멀티모달 모델을 더 빠르게 실행할 수 있다.