ggml-org团队发布了llama.cpp b12291版本。该版本加入了一项基于Vulkan的优化，通过coopmat2指令对键值缓存进行反量化。只有在根据查询令牌数和GQA比例进行的启发式判断确认安全时，才会启用这项改动。此次更新还修复了部分注意力头尺寸下的对齐处理问题；在无法使用该优化时，性能也因此得到提升。
为什么重要
在兼容Vulkan的硬件上运行Llama模型的开发者，无需修改代码即可获得更快的推理速度。
llama.cpp为Vulkan GPU加入KV反量化优化
开源Llama.cpp库现已支持在Vulkan GPU上对键值缓存进行反量化，可提升部分模型注意力头的运行速度。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。