Oossa

llama.cpp Vulkan अपडेट ने top‑k में अनंत और NaN की समस्या सुधारी

Oct 8 2026 के रिलीज़ में Vulkan बग ठीक किया गया है, जिसकी वजह से top‑k गणनाओं में अनंत या NaN मान आने पर क्रैश और गलत नतीजे मिलते थे।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ओपन-सोर्स llama.cpp लाइब्रेरी का version b11505, 2026‑10‑08 को जारी हुआ। इस अपडेट में top‑k ऑपरेशन से जुड़ा Vulkan शेडर बग ठीक किया गया है। पहले, +inf और NaN मानों को नज़रअंदाज़ किया जाता था, जिससे NVIDIA GPU पर प्रोसेस अटक सकती थी या AMD GPU पर गलत इंडेक्स मिल सकते थे। पैच NaN को -inf में बदलता है, हर मान की गिनती के लिए बकेट की रेंज बढ़ाता है और ऋणात्मक संख्याओं के लिए k = 1 वाले पाथ को ठीक करता है। इन मामलों की जाँच के लिए test_top_k_inf नाम का नया टेस्ट जोड़ा गया है।

यह क्यों मायने रखता है

Vulkan के साथ llama.cpp इस्तेमाल करने वाले डेवलपर्स को ऐसे प्रॉम्प्ट में, जिनमें फ़्लोटिंग-पॉइंट के अत्यधिक मान हों, कम क्रैश और टोकन की अधिक सटीक रैंकिंग देखने को मिलेगी।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।