De opensourcebibliotheek llama.cpp bracht versie b11505 uit op 2026-10-08. De update verhelpt een bug in een Vulkan-shader voor de top-k-bewerking. Voorheen werden waarden +inf en NaN genegeerd, wat kon leiden tot vastlopers op NVIDIA-GPU’s of onjuiste indices op AMD-GPU’s. De patch zet NaN om in -inf, vergroot het bereik van de buckets zodat elke waarde wordt meegeteld en corrigeert het pad voor k = 1 bij negatieve getallen. Een nieuwe test, test_top_k_inf, controleert deze gevallen.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp met Vulkan gebruiken, krijgen minder crashes en nauwkeurigere resultaten bij het rangschikken van tokens wanneer hun prompts extreme floatwaarden bevatten.
