오픈소스 llama.cpp 라이브러리가 2026-10-08 버전 b11505를 출시했다. 이번 업데이트는 top-k 연산에 사용되는 Vulkan 셰이더 버그를 수정한다. 이전에는 +inf와 NaN 값이 무시돼 NVIDIA GPU에서는 프로그램이 멈추고 AMD GPU에서는 잘못된 인덱스가 반환될 수 있었다. 패치에서는 NaN을 -inf로 바꾸고, 모든 값을 셀 수 있도록 버킷 범위를 넓혔으며, 음수에 대한 k = 1 처리 경로도 바로잡았다. 이 사례들을 확인하는 새 테스트 test_top_k_inf도 추가됐다.
왜 중요한가
Vulkan으로 llama.cpp를 사용하는 개발자는 프롬프트에 극단적인 부동소수점 값이 포함돼도 충돌이 줄고 토큰 순위가 더 정확해지는 효과를 얻을 수 있다.