L’équipe ggml-org a publié llama.cpp b12094 le 4 novembre 2026, avec un parcours d’échantillonnage top-k plus rapide pour son backend Hexagon. L’échantillonnage top-k sélectionne les options les mieux notées lors de la génération de texte.
Cette modification concerne les valeurs de k comprises entre 2 et 64 et les lignes de plus de 1 024 entrées. Elle évite de trier les blocs qui ne peuvent pas contenir de résultat parmi les meilleurs, mais la version ne fournit aucune mesure du gain de vitesse.
Pourquoi c'est important
Les personnes qui utilisent llama.cpp sur du matériel Hexagon compatible bénéficient d’une méthode d’échantillonnage plus efficace pour ces cas, même si la version ne chiffre pas le gain de vitesse en conditions réelles.
