Oossa

llama.cpp در نسخه b11723 توجه را به زمینه‌های طولانی‌تر بهبود می‌دهد

نسخه b11723 کتابخانه متن‌باز llama.cpp با بهینه‌سازی‌های hexagon FLASH_ATTN_EXT، استنتاج در زمینه‌های طولانی را روی CPU و Vulkan سریع‌تر می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml‑org نسخه b11723 از llama.cpp را در 19 اکتبر 2026 منتشر کرد. این به‌روزرسانی بهبودهایی برای FLASH_ATTN_EXT در پنجره‌های زمینه طولانی‌تر و مدل‌های SWA اضافه می‌کند و با ردکردن بلوک‌های ماسک‌شده، تعداد دفعات دسترسی به حافظه را کاهش می‌دهد. اکنون نسخه‌های باینری برای macOS (Apple Silicon و Intel)، iOS و چند نسخه از Ubuntu، از جمله با پشتیبانی از پردازنده گرافیکی Vulkan، در دسترس‌اند. هدف از این تغییرات افزایش کارایی مدل‌هایی مانند gemma‑4 است.

چرا مهم است

توسعه‌دهندگان می‌توانند مدل‌های زبانی بزرگ با زمینه طولانی‌تر را روی CPUهای دسکتاپ و پردازنده‌های گرافیکی سازگار، کارآمدتر اجرا کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.