Die Open-Source-Bibliothek llama.cpp hat am 2026-10-08 Version b11505 veröffentlicht. Das Update behebt einen Fehler im Vulkan-Shader für die top-k-Operation. Bisher wurden +inf- und NaN-Werte ignoriert, was auf NVIDIA-GPUs zu Hängern und auf AMD-GPUs zu falschen Indizes führen konnte. Der Patch bildet NaN auf -inf ab, erweitert den Bucket-Bereich, damit alle Werte erfasst werden, und korrigiert den Pfad für k = 1 bei negativen Zahlen. Ein neuer Test namens test_top_k_inf prüft diese Fälle.
Warum es wichtig ist
Entwickler, die llama.cpp mit Vulkan nutzen, profitieren von weniger Abstürzen und genaueren Ergebnissen beim Token-Ranking, wenn ihre Prompts extreme Gleitkommawerte enthalten.
