ggml-org टीम ने llama.cpp का संस्करण b11640 जारी किया है। इस अपडेट में Vulkan बैकएंड को मैट्रिक्स गुणा के लिए L2-अनुकूल वर्कग्रुप शेड्यूलिंग इस्तेमाल करने के लिए बदला गया है। इसके साथ Apple Silicon, Intel Mac, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan और CUDA 12.8) के लिए नए प्री-बिल्ट बाइनरी पैकेज भी दिए गए हैं। उपयोगकर्ता इन्हें GitHub के रिलीज़ पेज से डाउनलोड कर सकते हैं।
यह क्यों मायने रखता है
इस बदलाव से Vulkan सपोर्ट करने वाले GPU पर LLaMA मॉडल तेज़ चल सकते हैं। इससे Linux और Android डिवाइस पर काम करने वाले डेवलपर को मदद मिलेगी।
