Oossa

llama.cpp में Apple और Linux के लिए नए Q8_0 और i8mm कर्नेल

ओपन-सोर्स LLaMA इन्फरेंस लाइब्रेरी में ARM SVE और i8mm के लिए तेज़ क्वांटाइज़्ड कर्नेल जोड़े गए हैं। macOS, iOS और Ubuntu के लिए नए बाइनरी भी उपलब्ध हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

llama.cpp प्रोजेक्ट ने 22 अक्तूबर 2026 को b11811 संस्करण जारी किया। इस अपडेट में Q8_0 SVE dot-product GEMV और SVE i8mm GEMM कर्नेल जोड़े गए हैं, जो ARM CPU पर क्वांटाइज़्ड मॉडल के इन्फरेंस को तेज़ करते हैं। macOS Apple Silicon, Intel, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan, CUDA 12.8) के लिए पहले से तैयार बाइनरी अब डाउनलोड के लिए उपलब्ध हैं।

यह क्यों मायने रखता है

डेवलपर नए ARM हार्डवेयर और Linux GPU पर बिना कस्टम कोड लिखे LLaMA मॉडल तेज़ी से चला सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।