نسخه b11292 در llama.cpp محدودیتی در بکاند CPU را برطرف میکند که هنگام اجرای کانولوشن عمقی یکبعدی با کرنلِ دارای BF16، قالب عددی ۱۶بیتی، مشکلساز میشد. بکاند CPU حالا این ورودی را برای محاسبه به ممیز شناور ۳۲بیتی تبدیل میکند و به این ترتیب، محاسبات با کرنل ضرب ماتریسی-برداری Metal همخوان میشود.
این نسخه همچنین بررسیهای Vulkan را تغییر میدهد: BF16 را بهعنوان ورودی دوم ماتریس فقط زمانی میپذیرد که ورودی اول هم BF16 باشد. ترکیبهای دیگر پشتیبانینشده محسوب میشوند تا زمانبند آنها را روی CPU اجرا کند. در یادداشتهای انتشار به اضافهشدن آزمونها اشاره شده، اما مشخص نشده این تغییرات چه زمانی به برنامههای بستهبندیشده میرسند یا کدام کاربران آنها را دریافت میکنند.
چرا مهم است
برای توسعهدهندگانی که کانولوشن عمقی BF16 را اجرا میکنند، بکاند CPU حالا میتواند ترکیبی را پردازش کند که پیشتر نمیپذیرفت؛ یادداشتها مشخص نمیکنند این اصلاح چه زمانی در برنامههای پاییندستی ارائه خواهد شد.
