Il team ggml-org ha pubblicato llama.cpp b12094 il 4 novembre 2026, introducendo un percorso più rapido per il campionamento top-k nel backend Hexagon. Il campionamento top-k seleziona le opzioni con i punteggi più alti durante la generazione del testo.
La modifica riguarda valori di k da 2 a 64 e righe con più di 1.024 elementi. Salta l’ordinamento dei blocchi che non possono contenere un risultato tra i migliori, ma la versione non riporta misurazioni dell’aumento di velocità.
Perché conta
Chi usa llama.cpp su hardware Hexagon supportato può contare su un metodo di campionamento più efficiente per questi carichi di lavoro, anche se la versione non quantifica i miglioramenti di velocità nell’uso reale.
