Oossa

Tencent brengt GGUF-gekwantiseerde Hy-Memory-30B-A3B uit op Hugging Face

Er zijn drie gekwantiseerde versies (Q6_K, Q8_0, Q4_K_M) beschikbaar voor lokale inferentie met llama.cpp, voor efficiënt schrijven van langetermijngeheugen.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Tencent Hunyuan heeft GGUF-gekwantiseerde bestanden van het model Hy-Memory-30B-A3B toegevoegd aan Hugging Face. De repository biedt drie groottes: 24.7 GB (Q6_K), 32 GB (Q8_0) en 18.2 GB (Q4_K_M). Alle bestanden zijn geslaagd voor de controles van llama.cpp. Het model fungeert als schrijver van geheugen binnen frameworks zoals Mem0 en MemOS en bepaalt welke informatie wordt bewaard en hoe die wordt bijgewerkt. In de benchmark van de leverancier behaalde de Q6_K-versie de hoogste kwaliteitsscore, terwijl de Q4_K_M-versie de kleinste download is.

Waarom het ertoe doet

Ontwikkelaars kunnen een gespecialiseerd model voor langetermijngeheugen lokaal draaien zonder cloudvoorzieningen, waardoor ze besparen op bandbreedte en hardwarekosten.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.