Oossa

llama.cpp में Unigram टोकनाइज़र के लिए NFC विकल्प

ओपन-सोर्स LLaMA इन्फरेंस लाइब्रेरी में अब Unigram टोकनाइज़र के लिए Unicode NFC नॉर्मलाइज़ेशन चालू किया जा सकता है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml-org टीम ने 14 Oct 2026 को llama.cpp का b11612 संस्करण जारी किया। इस अपडेट में Unigram टोकनाइज़र के लिए NFC (Normalization Form C) का एक वैकल्पिक चरण जोड़ा गया है, जिससे Unicode टेक्स्ट को बेहतर ढंग से संभालने में मदद मिल सकती है। यह बदलाव Codex की मदद से किया गया और इसमें टेस्ट फ़ाइलों की थोड़ी सफ़ाई तथा लिंटर की चेतावनियों से जुड़ा सुधार भी शामिल है। रिलीज़ में कई प्लेटफ़ॉर्म के बिल्ड भी दिए गए हैं—macOS Apple Silicon से लेकर CUDA 13 वाले Windows तक।

यह क्यों मायने रखता है

LLaMA मॉडल चलाने वाले डेवलपर अब उच्चारण-चिह्न वाले या संयुक्त अक्षरों का अधिक एकसमान टोकनाइज़ेशन पा सकते हैं, जिससे बहुभाषी ऐप्स में अप्रत्याशित आउटपुट घट सकता है।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।