llama.cpp项目发布了一项GPU内核优化，为状态大小为64的情况新增快速路径。Zamba2及类似芯片采用这一大小；此前，每个扫描步骤都会退回到CPU处理，生成速度因此被限制在每秒约6‑7个token。新的模板将吞吐量提升约35%，使Zamba2‑7B‑Instruct在相同硬件上的速度从每秒11个token提升至15.1个。部分扫描调用（约28%）仍在CPU上运行，因此尚未实现完全一致的性能。
为什么重要
使用Zamba2 GPU的开发者无需添置额外硬件，就能明显加快文本生成速度。
llama.cpp为Zamba2 GPU加入快速路径，提升生成速度
ggml-cuda更新新增d_state=64处理路径，让Zamba2‑7B‑Instruct的生成速度从每秒11个token提升至15.1个。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。