ggml-org टीम ने llama.cpp का संस्करण b11710 जारी किया है। यह भाषा मॉडल चलाने के लिए उसके ओपन-सोर्स सॉफ़्टवेयर का नया बिल्ड है। रिलीज़ में CUDA के लिए grouped-expert top-k fusion जोड़ा गया है। CUDA ग्राफ़िक्स कार्ड पर कंप्यूटिंग के लिए एक प्लेटफ़ॉर्म है। इस बदलाव के साथ परीक्षण और HIP से जुड़ा एक सुधार भी शामिल है।
रिलीज़ पेज पर macOS, iOS और Linux समेत कई सिस्टम के लिए डाउनलोड उपलब्ध हैं। इसमें बेंचमार्क के नतीजे नहीं दिए गए हैं और न ही बताया गया है कि इस बदलाव से गति या मेमोरी के इस्तेमाल पर कितना असर पड़ेगा।
यह क्यों मायने रखता है
CUDA के साथ grouped-expert मॉडल इस्तेमाल करने वाले डेवलपर इस नए तरीके को आज़मा सकते हैं, लेकिन रिलीज़ नोट्स से यह साबित नहीं होता कि वास्तविक इस्तेमाल में प्रदर्शन बेहतर होगा।
