# llama.cpp b12094 snabbar upp top-k-sampling på Hexagon

> Versionen av llama.cpp ändrar top-k-sampling på Hexagon-hårdvara genom att använda en avsökning och slippa sortera block som inte kan nå resultatlistan. Några hastighetssiffror anges inte.

Oossa · 2026-11-04 · https://oossa.com/sv/llama-cpp-b12094-speeds-up-hexagon-top-k-sampling

ggml-org-teamet släppte llama.cpp b12094 den 4 november 2026, med en snabbare metod för top-k-sampling i Hexagon-backenden. Top-k-sampling väljer bland de alternativ som fått högst poäng när text genereras.

Ändringen gäller k-värden från 2 till 64 och rader med fler än 1 024 poster. Den hoppar över sortering av block som inte kan innehålla något av de bästa resultaten, men releasen anger ingen uppmätt hastighetsökning.

## Fakta

- Den nya metoden använder en vektoriserad maxoperation på Hexagon för att granska block med 256 värden.
- Den fungerar både vid bearbetning av en rad och av flera rader.

## Varför det spelar roll

Den som kör llama.cpp på kompatibel Hexagon-hårdvara får en effektivare samplingsmetod för de här arbetslasterna, men releasen kvantifierar inte någon faktisk hastighetsökning i praktiken.

## Källor och referenser

1. [ggml-org/llama.cpp b12094](https://github.com/ggml-org/llama.cpp/releases/tag/b12094) – llama.cpp, 2026-11-04

Senast uppdaterad: 2026-11-04