Oossa

llama.cpp adiciona suporte a logprobs na decodificação especulativa

A biblioteca de código aberto Llama.cpp agora retorna probabilidades logarítmicas dos tokens durante a decodificação especulativa, corrigindo uma regressão no branch master.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto ggml‑org/llama.cpp lançou a versão b11776 em 2026-10-21. A atualização adiciona suporte ao retorno de probabilidades logarítmicas (logprobs) durante a decodificação especulativa, técnica que acelera a geração ao antecipar tokens. Também foi adicionado um teste de regressão para garantir que os novos valores de logprob correspondam aos de uma execução sem especulação. A correção resolve um bug que fazia o branch master retornar dados de logprob vazios.

Por que importa

Agora, desenvolvedores podem consultar as pontuações de confiança de cada token ao usar a decodificação especulativa rápida, o que ajuda a depurar e aprimorar a qualidade da geração.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.