ggml-org टीम ने llama.cpp b11345 जारी किया है। इसमें Hexagon पर q2_k और q3_k quantization प्रकारों का समर्थन जोड़ा गया है। Quantization में मॉडल का डेटा कम bits में स्टोर किया जाता है। रिलीज़ नोट्स में यह नहीं बताया गया है कि किन डिवाइस या मॉडल को इसका लाभ मिलेगा, और न ही प्रदर्शन में बदलाव का ज़िक्र है।
इस रिलीज़ में macOS, iOS और CPU व Vulkan builds समेत Linux के कई कॉन्फ़िगरेशन के लिए डाउनलोड भी शामिल हैं।
यह क्यों मायने रखता है
llama.cpp को समर्थित Hexagon हार्डवेयर पर चलाने वाले लोग q2_k या q3_k quantization वाले मॉडल इस्तेमाल कर सकते हैं। हालांकि, रिलीज़ नोट्स में डिवाइस संगतता या प्रदर्शन पर असर की जानकारी नहीं दी गई है।
