Oossa

llama.cpp में b11786 के साथ तेज़ CPU GELU कर्नेल

ओपन-सोर्स LLM रनटाइम ने CPU गणना को अपडेट किया है, ताकि GELU फ़ंक्शन लुकअप टेबल के बिना पूरी सटीकता से चलें।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml-org/llama.cpp प्रोजेक्ट ने 2026-10-21 को संस्करण b11786 जारी किया। इस अपडेट में नए CPU कर्नेल जोड़े गए हैं, जो f32 gelu_quick और geglu_quick फ़ंक्शन सीधे गणना करते हैं—अब fp16 लुकअप टेबल की ज़रूरत नहीं है। इन कर्नेल के लिए परीक्षण भी जोड़े गए हैं और पुराने inf/nan परीक्षण मामलों को हटा दिया गया है। macOS, iOS और Linux के कई संस्करणों के लिए पहले से बने बाइनरी अब डाउनलोड के लिए उपलब्ध हैं।

यह क्यों मायने रखता है

नए कर्नेल धीमी लुकअप टेबल से बचते हैं, जिससे डेवलपर CPU पर LLM तेज़ी से चला सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।