# llama.cpp新增面向小批量任务的OpenCL内核

> 这款开源Llama推理库新增多种经过优化的OpenCL GEMM变体，提升低批量运行效率，并加强对Snapdragon GPU的支持。

Oossa · 2026-10-20 · https://oossa.com/zh/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

ggml‑org/llama.cpp项目于2026‑10‑21发布更新（b11763），新增了若干可加速小批量矩阵乘法的OpenCL内核，包括q4_k dp4a GEMM和一种窄版mul_mm_f16_f32变体。此次更新还修复了越界读取漏洞，并移除了一项不必要的CPU回退保护。该库已支持众多平台，从搭载Apple Silicon的macOS设备，到运行CUDA的Windows设备和使用Vulkan的Linux设备；此次更新进一步加强了对Snapdragon CPU、Adreno GPU和Hexagon NPU的支持。

## 事实

- 新增多种面向小批量任务的OpenCL GEMM变体（例如q4_k dp4a和mul_mm_f16_f32）。
- 发布日期：2026‑10‑21。

## 为什么重要

开发者可以在搭载Snapdragon芯片的Android设备上更快地运行Llama模型，让端侧AI更实用。

## 来源与参考

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

最后更新: 2026-10-20