OossaAI तेज़ी से विकसित हो रहा है। हम इसे आसान भाषा में समझाते हैं।

llama.cpp b11262 में AVX512‑FP16 डॉट प्रोडक्ट सपोर्ट

ओपन-सोर्स llama.cpp लाइब्रेरी अब आधी-प्रिसिजन डॉट प्रोडक्ट की गणना पूरी प्रिसिजन में करने के लिए AVX512‑FP16 का इस्तेमाल करती है, जिससे CPU का प्रदर्शन बेहतर होता है।

संक्षिप्तOossa1 मिनट पढ़ना

ggml‑org टीम ने 29 सितंबर, 2026 को llama.cpp का b11262 संस्करण जारी किया। इस अपडेट में AVX512‑FP16 सपोर्ट जोड़ा गया है। यह आधी-प्रिसिजन (f16) डॉट प्रोडक्ट की गणना करता है, लेकिन बेहतर सटीकता के लिए नतीजों को सिंगल-प्रिसिजन (f32) में जोड़ता है। यह एक लो-लेवल बदलाव है, जो AVX512‑FP16 इंस्ट्रक्शन सेट वाले CPU पर इन्फरेंस को तेज़ करता है। इस रिलीज़ में macOS, iOS और Linux के कई बिल्ड के लिए नए बाइनरी भी शामिल हैं।

यह क्यों मायने रखता है

इससे डेवलपर आधुनिक CPU पर संख्यात्मक गुणवत्ता से समझौता किए बिना LLM तेज़ी से चला सकते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।

स्रोत और संदर्भ

#स्रोतप्रकाशकतारीखमुख्य बात
1ggml-org/llama.cpp b11262 ↗llama.cpp29 सित॰ 2026<details open> ggml : accumulate f16 dot products in f32 on AVX512-FP16 (#29545) Supersedes #29530 Signed-off-by: Adrien Gallouët <angt@hugg

1 स्रोत

अंतिम अपडेट: ·Markdown·llms.txt