开源库 llama.cpp 于 2026-10-08 发布 b11505 版。此次更新修复了 top-k 操作中的 Vulkan 着色器漏洞。此前,+inf 和 NaN 值会被忽略,在 NVIDIA GPU 上可能导致程序卡住,在 AMD GPU 上则可能产生错误的索引。补丁将 NaN 映射为 -inf,扩大桶的范围以统计所有值,并修正了负数情况下 k = 1 的处理路径。新增测试 test_top_k_inf 用于检查这些情况。
为什么重要
使用 Vulkan 运行 llama.cpp 的开发者,在提示中包含极端浮点值时,将更少遇到崩溃,token 排名结果也会更加准确。