Das Projekt ggml‑org/llama.cpp hat am 2026-10-21 Version b11776 veröffentlicht. Das Update ermöglicht es, beim spekulativen Decoding Log-Wahrscheinlichkeiten (Logprobs) zurückzugeben. Bei dieser Technik werden Token im Voraus erraten, um die Generierung zu beschleunigen. Ein Regressionstest stellt außerdem sicher, dass die neuen Logprob-Werte mit einem Durchlauf ohne Spekulation übereinstimmen. Der Fehler, durch den der master-Branch leere Logprob-Daten zurückgab, ist damit behoben.
Warum es wichtig ist
Entwickler können nun auch beim schnellen spekulativen Decoding Konfidenzwerte für jedes Token einsehen. Das erleichtert die Fehlersuche und hilft, die Generierungsqualität zu verbessern.
