Oossa

انتشار نسخه‌های کوانتیزه‌شده GGUF مدل Hy-Memory-30B-A3B تنسنت

سه نسخه کوانتیزه‌شده Q6_K، Q8_0 و Q4_K_M برای اجرا به‌صورت محلی با llama.cpp در دسترس‌اند و نوشتن حافظه بلندمدت را کارآمدتر می‌کنند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

Tencent Hunyuan فایل‌های کوانتیزه‌شده GGUF مدل Hy-Memory-30B-A3B را به Hugging Face افزوده است. این مخزن سه نسخه دارد: 24.7 GB (Q6_K)، 32 GB (Q8_0) و 18.2 GB (Q4_K_M) که همگی آزمون‌های llama.cpp را با موفقیت پشت سر گذاشته‌اند. این مدل در چارچوب‌هایی مانند Mem0 و MemOS نقش نویسنده حافظه را بر عهده دارد و تصمیم می‌گیرد چه اطلاعاتی حفظ و چگونه به‌روزرسانی شوند. در بنچمارک شرکت سازنده، نسخه Q6_K بالاترین امتیاز کیفیت را کسب کرد و نسخه Q4_K_M کم‌حجم‌ترین فایل برای دانلود است.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل تخصصی حافظه بلندمدت را بدون نیاز به منابع ابری، به‌صورت محلی اجرا کنند و در مصرف پهنای باند و هزینه‌های سخت‌افزاری صرفه‌جویی کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.