ggml-org نسخه llama.cpp b11895 را با اصلاحی برای سرریز آفستهای خروجی ماتریسهای بزرگ در Metal منتشر کرد. در این تغییر، آفستهای دستهای و اندیسهای توکن مورد استفاده در عملیات MUL_MAT_ID نیز گستردهتر شدهاند.
صفحه انتشار، فایلهای دانلودی برای مکهای Apple Silicon و Intel، iOS و چندین نسخه Ubuntu با پردازنده مرکزی و Vulkan را ارائه میکند.
چرا مهم است
توسعهدهندگانی که llama.cpp را روی Metal اجرا میکنند، ممکن است با این اصلاح از سرریز آفست در خروجی ماتریسهای بزرگ جلوگیری کنند؛ بااینحال، یادداشتهای انتشار نمیگویند این مشکل چند وقت یکبار رخ داده یا کدام بارهای کاری باعث بروز آن میشوند.