Oossa

llama.cpp अपडेट से Intel CPU पर FP16‑से‑FP32 गति बहाल

15 अक्टूबर 2026 की रिलीज़ (b11635) में x86 पर FP16→FP32 लुकअप टेबल बरकरार रखी गई है, जिससे क्वांटाइज़्ड कर्नेल की गति में आई गिरावट ठीक होती है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ओपन-सोर्स llama.cpp लाइब्रेरी का संस्करण b11635, 2026-10-15 को जारी हुआ। इसमें CPU कोड बदला गया है, ताकि F16C निर्देश-समूह का समर्थन करने वाले x86 प्रोसेसर पर FP16-से-FP32 लुकअप टेबल का इस्तेमाल जारी रहे। पिछले बदलाव में दोनों स्केलर कन्वर्ज़न F16C के ज़रिए होने लगे थे, जिससे Q8_0/Q4_0 मैट्रिक्स-मल्टिप्लाई कर्नेल 45‑65 % धीमे हो गए थे। नए सुधार में समस्या पैदा करने वाली define लाइन को टिप्पणी में बदल दिया गया है और FP16→FP32 कन्वर्ज़न के लिए पुरानी टेबल बहाल कर दी गई है।

यह क्यों मायने रखता है

llama.cpp चलाने वाले डेवलपर अपडेट करने के बाद Intel CPU पर मॉडल का अनुमान noticeably तेज़ पाएंगे।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।