Проект ggml‑org/llama.cpp выпустил версию b11776 2026-10-21. В обновлении добавлена поддержка возврата логарифмических вероятностей (logprobs) при спекулятивном декодировании — методе, который ускоряет генерацию, заранее предсказывая токены. Также добавлен регрессионный тест: он проверяет, что новые значения logprobs совпадают с результатами генерации без спекулятивного декодирования. Исправлена ошибка, из-за которой основная ветка возвращала пустые данные logprobs.
Почему это важно
Теперь разработчики могут видеть оценки уверенности для каждого токена при быстром спекулятивном декодировании и использовать их для отладки и повышения качества генерации.
