Oossa

llama.cpp b11895 سرریز آفست در Metal را برطرف می‌کند

نسخه ggml-org آفست‌ها و اندیس‌های توکن را در عملیات ماتریسی Metal گسترش می‌دهد تا از سرریز در خروجی ماتریس‌های بزرگ جلوگیری کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

ggml-org نسخه llama.cpp b11895 را با اصلاحی برای سرریز آفست‌های خروجی ماتریس‌های بزرگ در Metal منتشر کرد. در این تغییر، آفست‌های دسته‌ای و اندیس‌های توکن مورد استفاده در عملیات MUL_MAT_ID نیز گسترده‌تر شده‌اند.

صفحه انتشار، فایل‌های دانلودی برای مک‌های Apple Silicon و Intel، iOS و چندین نسخه Ubuntu با پردازنده مرکزی و Vulkan را ارائه می‌کند.

چرا مهم است

توسعه‌دهندگانی که llama.cpp را روی Metal اجرا می‌کنند، ممکن است با این اصلاح از سرریز آفست در خروجی ماتریس‌های بزرگ جلوگیری کنند؛ بااین‌حال، یادداشت‌های انتشار نمی‌گویند این مشکل چند وقت یک‌بار رخ داده یا کدام بارهای کاری باعث بروز آن می‌شوند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.