Oossa

llama.cpp b11782 में टोकन गिनती की गड़बड़ी ठीक

ओपन-सोर्स LLM रनर के सर्वर कोड में एक साथ कई आउटपुट बनाते समय completion tokens की सही गिनती का सुधार किया गया है। macOS, iOS और Linux के लिए नए बाइनरी भी जारी किए गए हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org ने 21 Oct 2026 को llama.cpp का संस्करण b11782 जारी किया। इस अपडेट में सर्वर की उस समस्या को ठीक किया गया है जिसमें n > 1 होने पर usage.completion_tokens की गिनती कम होती थी, यानी बैच में आउटपुट बनाते समय टोकन उपयोग के आँकड़े वास्तविकता से कम दिखते थे। इस रिलीज़ में Apple Silicon, Intel Macs, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan, CUDA) के लिए नए प्री-बिल्ट बाइनरी भी शामिल हैं।

यह क्यों मायने रखता है

डेवलपर टोकन उपयोग के सटीक आँकड़े देख पाएँगे, जिससे एक साथ कई completions चलाते समय लागत और प्रदर्शन पर नज़र रखने में मदद मिलेगी।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।