llama.cpp 提升 Intel Arc GPU 上量化模型的预填充速度

b11979 版加入 SYCL 反量化改进；在 Intel Arc Pro B70 测试中，预填充速度有所提升，解码速度则保持不变。

简讯作者： OossaOossa 发布日期: 2026年10月29日 07:48 UTC1 分钟阅读

ggml-org/llama.cpp b11979 版调整了 SYCL 内核在 Intel GPU 上转换多种量化模型格式的方式。项目在 Arc Pro B70 上测得，当张量采用重排布局时，预填充速度有所提升。预填充指处理提示词文本，提升幅度因格式和模型而异。

在这类测试中，报告的最大提升幅度是一个 Q6_K 270 亿参数模型的 28.7%。对于 MXFP4 混合专家模型，报告的预填充速度提升了 57% 至 61%，其中也包括采用新布局的测试；解码速度没有变化。这些数据由项目方报告，困惑度结果则保持不变，或处于不同运行间的波动范围内。

为什么重要

在 Intel Arc Pro B70 上运行这些模型格式的用户，可能会缩短处理提示词的时间；不过，提升幅度取决于模型和布局，而且解码速度不会因此加快。

1 个来源

这篇文章有帮助吗？

Oossa · 新闻简报

一周 AI，讲明白

每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。