Oossa

llama.cpp b11494 में CUDA वॉर्प ऑप्टिमाइज़ेशन

ओपन-सोर्स Llama.cpp लाइब्रेरी अब हर CUDA वॉर्प में GDN की चार स्टेट कॉलम इस्तेमाल करती है, जिससे GPU पर प्रदर्शन बेहतर होता है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org टीम ने llama.cpp का संस्करण b11494 जारी किया है। इस अपडेट में CUDA बैकएंड को हर वॉर्प में दो के बजाय GDN की चार स्टेट कॉलम असाइन करने के लिए बदला गया है। अब यही डिफ़ॉल्ट सेटिंग है। macOS (Apple Silicon और Intel), iOS और Ubuntu के कई बिल्ड डाउनलोड के लिए उपलब्ध हैं।

यह क्यों मायने रखता है

NVIDIA GPU पर llama.cpp इस्तेमाल करने वाले डेवलपर बिना कोड बदले तेज़ इन्फ़रेंस की उम्मीद कर सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।