llama.cpp新增面向小批量任务的OpenCL内核

这款开源Llama推理库新增多种经过优化的OpenCL GEMM变体，提升低批量运行效率，并加强对Snapdragon GPU的支持。

简讯作者： OossaOossa 发布日期: 2026年10月20日 23:09 UTC1 分钟阅读

ggml‑org/llama.cpp项目于2026‑10‑21发布更新（b11763），新增了若干可加速小批量矩阵乘法的OpenCL内核，包括q4_k dp4a GEMM和一种窄版mul_mm_f16_f32变体。此次更新还修复了越界读取漏洞，并移除了一项不必要的CPU回退保护。该库已支持众多平台，从搭载Apple Silicon的macOS设备，到运行CUDA的Windows设备和使用Vulkan的Linux设备；此次更新进一步加强了对Snapdragon CPU、Adreno GPU和Hexagon NPU的支持。