A equipe ggml-org lançou o llama.cpp b12094 em 4 de novembro de 2026, com um caminho mais rápido para a amostragem top-k no backend Hexagon. A amostragem top-k seleciona entre as opções com pontuação mais alta durante a geração de texto.
A mudança é voltada a valores de k entre 2 e 64 e linhas com mais de 1.024 entradas. Ela evita ordenar blocos que não podem conter um dos melhores resultados, mas a versão não informa ganhos de velocidade medidos.
Por que importa
Quem executa o llama.cpp em hardware Hexagon compatível passa a contar com um método de amostragem mais eficiente nesses casos, embora a versão não quantifique o ganho de velocidade no uso real.
