تیم ggml-org نسخهٔ llama.cpp b12549 را با اصلاحاتی در مدیریت ماسک توجه برای Inkling2، مدلی که این پروژه پشتیبانی میکند، منتشر کرده است. این بهروزرسانی ورودی مستقلی به Inkling2 میدهد که ماسک توجه متراکم و بایاس موقعیت نسبی آن را از یک مجموعه سلول مشترک میسازد. همچنین ساخت ماسک در مدلهای حافظهٔ ترکیبی را اصلاح میکند؛ مشکلی که مانع استفادهٔ دوباره از گراف با حافظهٔ نهان یکپارچه و توجه فلش میشد و LFM2، LFM3 و Inkling2 را تحتتأثیر قرار میداد. این نسخه همچنین اجازه میدهد مقیاس وزن متخصصان و سقف نرمِ لاجیت نهایی در Inkling2 صفر باشد.
چرا مهم است
برای کسانی که این مدلهای حافظهٔ ترکیبی را در llama.cpp اجرا میکنند، این اصلاحات مشکلی را برطرف میکند که مانع استفادهٔ دوباره از گراف با حافظهٔ نهان یکپارچه و توجه فلش میشد؛ یادداشتهای انتشار بهبود سرعت را کمیسازی نمیکنند.