ggml‑org/llama.cpp प्रोजेक्ट ने 2026-10-21 को संस्करण b11776 जारी किया। इस अपडेट में speculative decoding के दौरान log probabilities (logprobs) लौटाने की सुविधा जोड़ी गई है। यह तकनीक पहले से टोकन का अनुमान लगाकर टेक्स्ट जनरेशन तेज़ करती है। यह सुनिश्चित करने के लिए एक regression test भी जोड़ा गया है कि नए logprob मान बिना speculation के चलाए गए परिणामों से मेल खाते हैं। इस सुधार से वह बग ठीक हो गया है जिसमें master branch खाली logprob डेटा लौटाती थी।
यह क्यों मायने रखता है
अब डेवलपर तेज़ speculative decoding का इस्तेमाल करते हुए हर टोकन के confidence score देख सकते हैं, जिससे उन्हें समस्याएँ ढूँढ़ने और जनरेशन की गुणवत्ता बेहतर करने में मदद मिलेगी।
