Das Team von ggml-org hat am 4. November 2026 llama.cpp b12094 veröffentlicht. Die Version enthält einen schnelleren Pfad für das Top-k-Sampling im Hexagon-Backend. Beim Top-k-Sampling wird bei der Textgenerierung aus den Optionen mit den höchsten Bewertungen ausgewählt.
Die Änderung gilt für k-Werte von 2 bis 64 und Zeilen mit mehr als 1,024 Einträgen. Blöcke, die kein Ergebnis unter den besten Treffern enthalten können, werden nicht sortiert. Gemessene Beschleunigungswerte nennt das Release nicht.
Warum es wichtig ist
Wer llama.cpp auf unterstützter Hexagon-Hardware nutzt, erhält für diese Workloads eine effizientere Sampling-Methode. Wie stark sie sich in der Praxis auswirkt, beziffert das Release jedoch nicht.
