Oossa

Tencent släpper GGUF-kvantiserad Hy-Memory-30B-A3B på Hugging Face

Tre kvantiserade versioner (Q6_K, Q8_0, Q4_K_M) finns för lokal inferens med llama.cpp och möjliggör effektiv lagring av långtidsminnen.

NotisAv Publicerad av Oossa: 1 min läsning

Tencent Hunyuan har lagt till GGUF-kvantiserade filer av modellen Hy-Memory-30B-A3B på Hugging Face. Repositoriet erbjuder tre storlekar: 24.7 GB (Q6_K), 32 GB (Q8_0) och 18.2 GB (Q4_K_M). Alla har klarat llama.cpp-kontrollerna. Modellen fungerar som en minnesskrivare i ramverk som Mem0 och MemOS och avgör vilken information som ska sparas och hur den ska uppdateras. I leverantörens jämförelsetest fick Q6_K-versionen högst kvalitetsbetyg, medan Q4_K_M-versionen är den minsta att ladda ner.

Varför det spelar roll

Utvecklare kan köra en specialiserad modell för långtidsminnen lokalt utan molnresurser, vilket sparar bandbredd och hårdvarukostnader.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.