Oossa

افزودن عملیات ترکیبی top‑k mask به llama.cpp در نسخه b11800

کتابخانه متن‌باز استنتاج، عملیاتی ترکیبی برای ماسک‌گذاری QSA اضافه کرده که عملکرد برخی مدل‌ها را بهبود می‌دهد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

پروژه ggml‑org llama.cpp نسخه b11800 را در 2026-10-21 منتشر کرد. این به‌روزرسانی عملیات ترکیبی top‑k mask با نام (ggml_top_k_mask) را اضافه می‌کند که مدل‌های QSA، DSA و DeepSeek V4 CSA می‌توانند از آن استفاده کنند. این عملیات کد ماسک‌گذاری دست‌ساز را با یک گره جایگزین می‌کند که مقدار خانه‌های انتخاب‌نشده را روی –inf می‌گذارد. این عملیات برای هر سر قابل اجراست و می‌تواند امتیازهای اختیاری، اندازه بلوک‌ها و خانه‌های اضافی را مدیریت کند.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های پشتیبانی‌شده را سریع‌تر اجرا کنند، چون کتابخانه ماسک‌گذاری را حالا در یک مرحله بهینه انجام می‌دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.