llama.cpp, CUDA top-k 선택 속도 개선

오픈소스 Llama.cpp 라이브러리가 CUDA top-k에 radix-select 알고리즘을 적용해 대규모 테스트에서 실행 시간을 5.76초에서 0.94초로 줄였습니다.

짧은 소식작성: OossaOossa 게시일: 2026년 10월 8일 오후 7:38 UTC1 분 읽기

llama.cpp 프로젝트가 2026년 10월 8일 새 버전(b11513)을 출시했습니다. 이번 버전은 기존의 행별 CUDA top-k 루틴을 여러 행을 한꺼번에 처리하는 radix-select 방식으로 대체했습니다. Qwen-4-exp 모델에서 토큰 34,816개를 처리할 때 top-k 호출 횟수는 1,671,253회(5,761.8ms)에서 2,329회(941.8ms)로 줄었습니다. 행렬 형태에 따라 최적의 top-k 알고리즘을 자동으로 선택하는 기능도 추가했으며, bitonic 및 radix 방식의 적용 기준도 조정했습니다.