Oossa

llama.cpp b11555 में CPU सुधार और नए बाइनरी पैकेज

ओपन-सोर्स Llama इन्फ़रेंस लाइब्रेरी के b11555 अपडेट में AVX2 CPU पर F16C सपोर्ट न मिलने की समस्या ठीक की गई है। macOS, iOS और Linux के लिए नए बिल्ड भी जारी किए गए हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org ने llama.cpp का संस्करण b11555 जारी किया। इस अपडेट में वह बग ठीक किया गया है जिसके कारण AVX2 CPU उपलब्ध होने के बावजूद F16C इंस्ट्रक्शन सेट का इस्तेमाल नहीं करते थे। इस रिलीज़ में macOS Apple Silicon, macOS Intel, iOS और Ubuntu के कई कॉन्फ़िगरेशन के लिए नए बाइनरी पैकेज भी शामिल हैं। इनमें Vulkan और CUDA 12.8 का सपोर्ट भी है।

यह क्यों मायने रखता है

संगत CPU पर Llama मॉडल चलाने वाले डेवलपर बिना मैन्युअल पैच लगाए तेज़ इन्फ़रेंस पा सकेंगे।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।