llama.cpp v b11761 में ARM NEON fp32‑to‑fp16 कन्वर्ज़न

21 Oct 2026 के इस रिलीज़ में ARM NEON पाथ की एक छिपी गड़बड़ी ठीक की गई है। इससे Apple Silicon और अन्य ARM CPU पर तेज़ inference के लिए हार्डवेयर fp32‑to‑fp16 कन्वर्ज़न चालू होता है।

संक्षिप्तलेखक: OossaOossa द्वारा प्रकाशित: 20 अक्टूबर 2026 को 10:36 pm बजे UTC1 मिनट पढ़ना

1 स्रोत ↓

ओपन-सोर्स llama.cpp लाइब्रेरी का संस्करण b11761, 21 Oct 2026 को जारी हुआ। इसमें NEON ब्रांच को ठीक किया गया है, ताकि fp32‑to‑fp16 कन्वर्ज़न अब सॉफ़्टवेयर फ़ॉलबैक के बजाय हार्डवेयर इंस्ट्रक्शन का इस्तेमाल करे। इस बदलाव में मिलते-जुलते मैक्रो मिसमैच पकड़ने के लिए compile-time error भी जोड़ा गया है। रिलीज़ नोट्स में बताए गए macOS Apple Silicon, Linux ARM64 और Android ARM डिवाइसों पर यह सुधार लागू होता है।