تیم ggml‑org نسخه b12291 از llama.cpp را منتشر کرد. این نسخه بهینه‌سازی مبتنی بر Vulkan را اضافه می‌کند که با استفاده از دستور coopmat2، کش کلید-مقدار را رفع‌کوانتیزه می‌کند. این تغییر فقط زمانی اعمال می‌شود که یک روش ابتکاری، بر اساس توکن‌های پرس‌وجو و نسبت GQA، آن را ایمن تشخیص دهد. این به‌روزرسانی همچنین نحوه مدیریت هم‌ترازی را برای برخی اندازه‌های سر اصلاح می‌کند و در مواردی که امکان استفاده از بهینه‌سازی وجود ندارد، عملکرد را بهبود می‌دهد.
چرا مهم است
توسعه‌دهندگانی که مدل‌های Llama را روی سخت‌افزار سازگار با Vulkan اجرا می‌کنند، می‌توانند بدون تغییر کد خود از استنتاج سریع‌تر بهره‌مند شوند.
