تیم ggml‑org نسخه b11640 از llama.cpp را منتشر کرد. در این بهروزرسانی، بکاند Vulkan برای ضرب ماتریسی از زمانبندی ورکگروههای سازگار با حافظه L2 استفاده میکند. همچنین نسخههای اجرایی ازپیشساختهشدهای برای Apple Silicon، مکهای اینتل، iOS و چند نسخه Ubuntu (با CPU، Vulkan و CUDA 12.8) ارائه شده است. کاربران میتوانند این بستهها را از صفحه انتشار در GitHub دانلود کنند.
چرا مهم است
این تغییر میتواند اجرای مدلهای LLaMA را روی GPUهای سازگار با Vulkan سریعتر کند و به توسعهدهندگان در دستگاههای لینوکس و اندروید کمک کند.