# llama.cpp b12094 beschleunigt Top-k-Sampling auf Hexagon

> Das llama.cpp-Release ändert das Top-k-Sampling auf Hexagon-Hardware: Ein Scan überspringt Blöcke, die es nicht in die Auswahl schaffen können. Angaben zur Beschleunigung gibt es nicht.

Oossa · 2026-11-04 · https://oossa.com/de/llama-cpp-b12094-speeds-up-hexagon-top-k-sampling

Das Team von ggml-org hat am 4. November 2026 llama.cpp b12094 veröffentlicht. Die Version enthält einen schnelleren Pfad für das Top-k-Sampling im Hexagon-Backend. Beim Top-k-Sampling wird bei der Textgenerierung aus den Optionen mit den höchsten Bewertungen ausgewählt.

Die Änderung gilt für k-Werte von 2 bis 64 und Zeilen mit mehr als 1,024 Einträgen. Blöcke, die kein Ergebnis unter den besten Treffern enthalten können, werden nicht sortiert. Gemessene Beschleunigungswerte nennt das Release nicht.

## Die Fakten

- Der neue Pfad nutzt eine vektorielle Max-Operation von Hexagon, um Blöcke mit jeweils 256 Werten zu prüfen.
- Er funktioniert sowohl bei der Verarbeitung einzelner Zeilen als auch mehrerer Zeilen.

## Warum es wichtig ist

Wer llama.cpp auf unterstützter Hexagon-Hardware nutzt, erhält für diese Workloads eine effizientere Sampling-Methode. Wie stark sie sich in der Praxis auswirkt, beziffert das Release jedoch nicht.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b12094](https://github.com/ggml-org/llama.cpp/releases/tag/b12094) – llama.cpp, 2026-11-04

Zuletzt aktualisiert: 2026-11-04