Biblioteket llama.cpp med öppen källkod släppte version b11505 den 2026-10-08. Uppdateringen åtgärdar en bugg i Vulkan-shadern för top‑k-operationen. Tidigare ignorerades värdena +inf och NaN, vilket kunde orsaka låsningar på NVIDIA-GPU:er eller felaktiga index på AMD-GPU:er. Patchen omvandlar NaN till -inf, utökar intervallen för att räkna med alla värden och rättar till hanteringen av k = 1 för negativa tal. Ett nytt test, test_top_k_inf, kontrollerar dessa fall.
Varför det spelar roll
Utvecklare som använder llama.cpp med Vulkan får färre krascher och mer träffsäkra resultat vid rangordning av token när promptarna innehåller extrema flyttalsvärden.
