Oossa

llama.cpp aggiunge i logprob alla decodifica speculativa

La libreria open source Llama.cpp ora restituisce le probabilità logaritmiche dei token durante la decodifica speculativa, correggendo una regressione nel ramo master.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il progetto ggml‑org/llama.cpp ha rilasciato la versione b11776 il 2026-10-21. L’aggiornamento aggiunge il supporto alla restituzione delle probabilità logaritmiche (logprob) durante la decodifica speculativa, una tecnica che accelera la generazione anticipando i token. È stato aggiunto anche un test di regressione per verificare che i nuovi valori di logprob corrispondano a quelli ottenuti senza speculazione. La correzione risolve un bug per cui il ramo master restituiva dati logprob vuoti.

Perché conta

Gli sviluppatori possono ora visualizzare i punteggi di confidenza di ogni token anche usando la rapida decodifica speculativa, il che li aiuta a individuare i problemi e a migliorare la qualità della generazione.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.