ggml-org-teamet släppte llama.cpp b12094 den 4 november 2026, med en snabbare metod för top-k-sampling i Hexagon-backenden. Top-k-sampling väljer bland de alternativ som fått högst poäng när text genereras.
Ändringen gäller k-värden från 2 till 64 och rader med fler än 1 024 poster. Den hoppar över sortering av block som inte kan innehålla något av de bästa resultaten, men releasen anger ingen uppmätt hastighetsökning.
Varför det spelar roll
Den som kör llama.cpp på kompatibel Hexagon-hårdvara får en effektivare samplingsmetod för de här arbetslasterna, men releasen kvantifierar inte någon faktisk hastighetsökning i praktiken.
