ggml-org टीम ने llama.cpp b11809 जारी किया है, जिसमें इसके WebGPU बैकएंड के लिए Q2_0 सपोर्ट जोड़ा गया है। रिलीज़ नोट्स के मुताबिक, इस बदलाव में रो डी-क्वांटाइज़ेशन और मैट्रिक्स गुणा, दोनों शामिल हैं। इनमें गति, हार्डवेयर अनुकूलता या मेमोरी के इस्तेमाल से जुड़े नतीजे नहीं दिए गए हैं, इसलिए व्यावहारिक प्रदर्शन पर इसका असर स्पष्ट नहीं है।
यह क्यों मायने रखता है
WebGPU के साथ llama.cpp इस्तेमाल करने वाले डेवलपर अब Q2_0 मॉडल आज़मा सकते हैं, लेकिन रिलीज़ नोट्स यह नहीं बताते कि वे खास डिवाइसों पर कितनी अच्छी तरह चलेंगे।
