llama.cpp प्रोजेक्ट ने नया संस्करण जारी किया है, जिसमें Qualcomm के Hexagon NPU के लिए Q1_0 और Q2_0 क्वांटाइज़ेशन जोड़ा गया है। अपडेट में ओवरहेड कम करने के लिए टाइलिंग और वेक्टर डॉट ऑपरेशंस में भी बदलाव किए गए हैं। यह Linux और Windows के उन बिल्ड पर काम करता है जो Snapdragon CPUs, Adreno GPUs और Hexagon NPUs को लक्षित करते हैं, साथ ही अन्य प्लेटफ़ॉर्म पर भी। इन बदलावों का विवरण डेवलपर गाइड में दिया गया है और रिलीज़ अटेस्टेशन पर हस्ताक्षर किए गए हैं।
यह क्यों मायने रखता है
डेवलपर अब Snapdragon-आधारित फोन और टैबलेट पर बड़े लैंग्वेज मॉडल कम लेटेंसी और कम बिजली खपत के साथ चला सकते हैं।
