Oossa

llama.cpp में BF16 सपोर्ट और नए ऑपरेशन जुड़े

ओपन-सोर्स llama.cpp लाइब्रेरी में अब BF16 डेटा टाइप के ऑपरेशन और GLU शामिल हैं, जिससे CPU और CUDA का प्रदर्शन बेहतर होता है।

संक्षिप्तOossaOossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org टीम ने llama.cpp का वर्ज़न b11293 जारी किया है। इसमें CPU और CUDA, दोनों के लिए BF16 (हाफ़-प्रिसिज़न संख्या फ़ॉर्मैट) के unary, GLU, binary और scale ऑपरेशन जोड़े गए हैं। इस बदलाव में BF16 बिल्ड से जुड़ी समस्या ठीक करने के लिए CUDA kernels भी अपडेट किए गए हैं। यह अपडेट macOS और Windows से लेकर Linux और Android तक कई प्लेटफ़ॉर्म के लिए उपलब्ध है।

यह क्यों मायने रखता है

डेवलपर अब नए GPUs जैसे BF16 सपोर्ट करने वाले हार्डवेयर पर llama.cpp मॉडल तेज़ी से चला सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।