تیم ggml-org در نسخه b11866 از llama.cpp یک گام باز‌مقیاس‌دهیِ توانِ دو را از کرنل ضرب ماتریسی Metal حذف کرده است؛ کرنلی که برای مدل‌های ترکیبیِ اکسپرت‌ها به‌کار می‌رود. به‌گفته پروژه، مقیاس‌دهی جداگانه هر توکنِ اکسپرت در گراف محاسباتی حالا باعث می‌شود فعال‌سازی‌های فرافکنیِ پایین‌دست پیش از اجرای عملیات، در محدوده پشتیبانی‌شده f16 باقی بمانند.
این تغییر همچنین کرنل‌های کاهش دومرحله‌ای، بافر موقت آن‌ها و مسیر dispatch مربوط به f32 را حذف می‌کند؛ آزمون‌های ورودی‌هایی که از محدوده f16 فراتر می‌رفتند نیز کنار گذاشته شده‌اند. در فهرست نسخه، بیلدهایی برای macOS روی Apple Silicon و بسیاری پلتفرم‌های دیگر آمده است؛ اما هیچ اندازه‌گیری‌ای از سرعت یا دقت ارائه نشده است.
چرا مهم است
برای کاربران llama.cpp که مدل‌های ترکیبیِ اکسپرت‌ها را با Metal اجرا می‌کنند، کرنل اکنون به مقیاس‌دهی‌ای متکی است که پیش‌تر در گراف محاسباتی انجام می‌شود؛ این نسخه نمی‌گوید که این تغییر بر سرعت یا کیفیت خروجی اثر می‌گذارد یا نه.
