تیم ggml-org نسخه b11685 از llama.cpp را منتشر کرد. این نسخه بهینه‌سازی SYCL با نام «ذخیره‌سازی گسترده» را برای بازگشایی وزن‌های q4_K و q5_K اضافه می‌کند. این انتشار شامل فایل‌های اجرایی ازپیش‌ساخته‌شده برای macOS با Apple Silicon، macOS با پردازنده‌های Intel، iOS و چند نسخه Ubuntu (CPU، Vulkan و CUDA 12.8) است. هدف این تغییر، سریع‌تر کردن اجرای مدل‌های کوانتیزه‌شده روی GPUهای سازگار با SYCL است.
چرا مهم است
توسعه‌دهندگان می‌توانند مدل‌های LLM کوانتیزه‌شده را روی GPUهای SYCL سریع‌تر اجرا کنند و گزینه‌های سخت‌افزاری ارزان‌تری برای اپلیکیشن‌های هوش مصنوعی در اختیار داشته باشند.
