Oossa

رفع اشکال مدیریت توجه در llama.cpp b12549 برای Inkling2

این به‌روزرسانی ورودی مستقلی برای توجهِ مبتنی بر موقعیت نسبی در Inkling2 فراهم می‌کند و استفادهٔ دوباره از ماسک را در مدل‌های حافظهٔ ترکیبی، از جمله LFM2 و LFM3، اصلاح می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

تیم ggml-org نسخهٔ llama.cpp b12549 را با اصلاحاتی در مدیریت ماسک توجه برای Inkling2، مدلی که این پروژه پشتیبانی می‌کند، منتشر کرده است. این به‌روزرسانی ورودی مستقلی به Inkling2 می‌دهد که ماسک توجه متراکم و بایاس موقعیت نسبی آن را از یک مجموعه سلول مشترک می‌سازد. همچنین ساخت ماسک در مدل‌های حافظهٔ ترکیبی را اصلاح می‌کند؛ مشکلی که مانع استفادهٔ دوباره از گراف با حافظهٔ نهان یکپارچه و توجه فلش می‌شد و LFM2، LFM3 و Inkling2 را تحت‌تأثیر قرار می‌داد. این نسخه همچنین اجازه می‌دهد مقیاس وزن متخصصان و سقف نرمِ لاجیت نهایی در Inkling2 صفر باشد.

چرا مهم است

برای کسانی که این مدل‌های حافظهٔ ترکیبی را در llama.cpp اجرا می‌کنند، این اصلاحات مشکلی را برطرف می‌کند که مانع استفادهٔ دوباره از گراف با حافظهٔ نهان یکپارچه و توجه فلش می‌شد؛ یادداشت‌های انتشار بهبود سرعت را کمی‌سازی نمی‌کنند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.