# llama.cpp b12094, Hexagon top-k 샘플링 속도 개선

> llama.cpp가 Hexagon 하드웨어의 top-k 샘플링을 변경해, 결과에 들지 못하는 블록은 정렬하지 않도록 했다. 속도 향상 수치는 공개되지 않았다.

Oossa · 2026-11-04 · https://oossa.com/ko/llama-cpp-b12094-speeds-up-hexagon-top-k-sampling

ggml-org 팀은 2026년 11월 4일, Hexagon 백엔드의 top-k 샘플링 경로를 개선한 llama.cpp b12094를 출시했다. top-k 샘플링은 텍스트를 생성할 때 점수가 가장 높은 후보 중에서 선택하는 방식이다.

이번 변경은 k 값이 2~64이고 행의 항목 수가 1,024개를 초과할 때 적용된다. 최종 후보가 될 수 없는 블록은 정렬하지 않지만, 이번 릴리스에는 측정된 속도 향상 수치가 제시되지 않았다.

## 팩트

- 새 경로는 Hexagon 벡터 최대값 연산으로 256개 값이 담긴 블록을 선별한다.
- 단일 행 처리와 다중 행 처리 모두에 적용된다.

## 왜 중요한가

지원되는 Hexagon 하드웨어에서 llama.cpp를 실행하는 사용자는 해당 작업에서 더 효율적인 샘플링 방식을 이용할 수 있다. 다만 실제 사용 시 속도가 얼마나 향상되는지는 이번 릴리스에서 수치로 공개하지 않았다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b12094](https://github.com/ggml-org/llama.cpp/releases/tag/b12094) – llama.cpp, 2026-11-04

최종 업데이트: 2026-11-04