Oossa

OpenBMB, GGUF 양자화 MiniCPM-V 초안 모델 공개

35B 파라미터 멀티모달 초안 모델(DSpark)을 GGUF 형식으로 제공해 llama.cpp와 vLLM에서 사용할 수 있다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

OpenBMB가 MiniCPM-V-4.7-35B-A3B-DSpark의 GGUF 양자화 버전을 Hugging Face에 추가했다. 이 초안 체크포인트는 이에 대응하는 MiniCPM-V 타깃 모델과 함께 추측 디코딩에 사용할 수 있으며, 순전파 한 번에 초안 토큰을 최대 15개 생성한다. 제공된 명령줄 플래그를 사용해 llama.cpp 또는 vLLM에서 실행할 수 있다. 이 모델은 이미지와 텍스트 입력을 지원하며, 원본 가중치에서는 BF16 정밀도로 실행된다.

왜 중요한가

개발자는 경량 GGUF 초안 모델을 활용해 일반 소비자용 하드웨어에서 대형 멀티모달 모델을 더 빠르게 실행할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.