Het team van ggml-org bracht llama.cpp b12094 uit op November 4, 2026, met een snellere top-k-samplingmethode voor de Hexagon-backend. Bij top-k-sampling wordt tijdens het genereren van tekst gekozen uit de opties met de hoogste scores.
De wijziging is bedoeld voor k-waarden van 2 tot 64 en rijen met meer dan 1,024 items. Blokken die geen van de beste resultaten kunnen bevatten, worden niet gesorteerd. De release vermeldt geen gemeten snelheidswinst.
Waarom het ertoe doet
Wie llama.cpp op ondersteunde Hexagon-hardware gebruikt, krijgt voor deze workloads een efficiëntere samplingmethode. De release maakt echter niet duidelijk hoeveel sneller die in de praktijk is.
