Oossa

llama.cpp b11792 में GPU पर डेटा बनाए रखने का सपोर्ट

ओपन-सोर्स LLM रनटाइम के नए बाइनरी और GPU ऑप्टिमाइज़ेशन से डेटा ज़्यादा देर तक GPU पर रहता है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org टीम ने 2026‑10‑21 को llama.cpp का b11792 संस्करण जारी किया। इस अपडेट में set_rows कॉल को बदला गया है, जिससे डेटा GPU पर बना रह सकता है और GPU इस्तेमाल करने वालों को बेहतर गति मिलती है। अब macOS Apple Silicon, macOS Intel, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan, CUDA 12.8) के लिए पहले से तैयार बाइनरी उपलब्ध हैं। रिलीज़ के लिंक GitHub टैग पेज पर दिए गए हैं।

रिलीज़ नोट्स में इस बदलाव को “place d2t by its set_rows use so it can stay on the GPU (#30912)” के रूप में दर्ज किया गया है।

यह क्यों मायने रखता है

डेवलपर संगत GPU पर Llama मॉडल तेज़ी से चला सकते हैं और डेटा को बार-बार ट्रांसफ़र करने की ज़रूरत नहीं पड़ती।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।