ggml‑org टीम ने llama.cpp का संस्करण b11789 जारी किया। इस अपडेट में OpenCL के लिए vector activation loads वाले dp4a GEMM (मैट्रिक्स मल्टिप्लाई) विकल्प जोड़े गए हैं। साथ ही, संबंधित कर्नेल और environment variables के नाम बदले गए हैं। अब Apple Silicon, Intel macOS, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan, CUDA) के लिए पहले से तैयार बाइनरी उपलब्ध हैं। ये बदलाव dp4a निर्देश का समर्थन करने वाले GPU पर प्रदर्शन बेहतर करने के उद्देश्य से किए गए हैं।
यह क्यों मायने रखता है
डेवलपर संगत GPU पर llama.cpp को तेज़ी से चला सकते हैं, जिससे स्थानीय LLM ऐप्लिकेशन में inference का समय घट सकता है।
