Het project ggml‑org/llama.cpp heeft op 2026-10-21 versie b11776 uitgebracht. De update maakt het mogelijk om logkansen (logprobs) terug te geven tijdens speculatieve decodering, een techniek die tekstgeneratie versnelt door tokens vooraf te voorspellen. Er is ook een regressietest toegevoegd om te controleren of de nieuwe logprob-waarden overeenkomen met een run zonder speculatie. De oplossing verhelpt een bug waardoor de master-branch lege logprob-gegevens teruggaf.
Waarom het ertoe doet
Ontwikkelaars kunnen nu bij snelle speculatieve decodering de betrouwbaarheidsscores van afzonderlijke tokens bekijken. Dat helpt hen fouten op te sporen en de kwaliteit van tekstgeneratie te verbeteren.
