Oossa

Tencent, GGUF 양자화 Hy‑Memory‑30B‑A3B 공개

Q6_K, Q8_0, Q4_K_M 세 가지 버전을 제공해 llama.cpp로 로컬 추론을 실행하고 장기 기억을 효율적으로 작성할 수 있다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Tencent Hunyuan이 Hy‑Memory‑30B‑A3B 모델의 GGUF 양자화 파일을 Hugging Face에 추가했다. 저장소에는 24.7 GB(Q6_K), 32 GB(Q8_0), 18.2 GB(Q4_K_M) 등 세 가지 크기의 파일이 있으며, 모두 llama.cpp 검증을 통과했다. 이 모델은 Mem0, MemOS 같은 프레임워크에서 기억을 작성하는 역할을 맡아 어떤 정보를 저장하고 어떻게 갱신할지 결정한다. Tencent의 벤치마크에서는 Q6_K 버전이 가장 높은 품질 점수를 기록했고, Q4_K_M 버전은 다운로드 용량이 가장 작다.

왜 중요한가

개발자는 클라우드 자원 없이도 장기 기억에 특화된 모델을 로컬에서 실행할 수 있어 대역폭과 하드웨어 비용을 줄일 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.