Oossa

llama.cpp b11757 में CUDA ग्राफ़ की सफ़ाई का सुधार

ओपन-सोर्स Llama इंफरेंस लाइब्रेरी का संस्करण b11757 जारी हुआ है। इसमें CUDA ग्राफ़ को संभालने से जुड़ा सुधार और macOS, iOS तथा Linux के लिए नए बाइनरी शामिल हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org टीम ने llama.cpp का संस्करण b11757 जारी किया। इस अपडेट में पुराने मेमोरी-पूल को खाली करने के बाद CUDA ग्राफ़ साफ़ किए जाते हैं, जिससे GPU मेमोरी लीक कम होने की उम्मीद है। अब Apple Silicon macOS, Intel macOS, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan और CUDA 12.8) के लिए पहले से बने बाइनरी उपलब्ध हैं। यह रिलीज़ GitHub पर पोस्ट की गई है।

यह क्यों मायने रखता है

Nvidia GPU पर Llama मॉडल चलाने वाले डेवलपरों को इस सुधार के बाद मेमोरी खत्म होने से जुड़ी त्रुटियां कम देखने को मिलेंगी।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।