llama.cpp از عملیات Flash Attention پشتیبانی می‌کند

کتابخانه متن‌باز llama.cpp اکنون از عملیات Flash Attention از طریق ggml-zdnn پشتیبانی می‌کند؛ این قابلیت 20 اکتبر 2026 اعلام شد.

خبر کوتاهنویسنده: Oossaمنتشرشده توسط Oossa: ۲۸ مهر ۱۴۰۵ ساعت ۲۱:۴۱ UTC1 دقیقه مطالعه

1 منبع ↓

تیم ggml-org نسخه b11759 از llama.cpp را در 20 اکتبر 2026 منتشر کرد. این به‌روزرسانی عملیات Flash Attention (fattn) را به بک‌اند ggml-zdnn اضافه می‌کند و جای اسلات‌های scratch را با یک استخر بافر scratch عوض می‌کند. این تغییر را مشارکت‌کننده، Aaron Teo، تأیید کرده است. Flash Attention محاسبه توجهی را که مدل‌های زبانی بزرگ به‌کار می‌برند، سریع‌تر می‌کند.

چرا مهم است

Flash Attention می‌تواند زمان استنتاج را برای کاربرانی که llama.cpp را به‌صورت محلی اجرا می‌کنند کاهش دهد و باعث شود مدل‌های گفت‌وگومحور سریع‌تر پاسخ دهند.