开源库 llama.cpp 于 2026‑10‑18 发布新版本,新增了对非连续张量执行 SUM 运算的支持。该功能适用于 CPU、CUDA、Vulkan 和 WebGPU 后端,测试套件也新增了针对这些视图的测试用例。此次更新还扩充了 macOS、Linux、Android 和 Windows 的预编译二进制文件列表,涵盖多种硬件组合,包括 Apple Silicon、Intel、AMD、NVIDIA CUDA 12/13 和 Snapdragon NPU。项目网站和构建证明文件均附有下载链接。
为什么重要
开发者现在可以在更多设备上运行更快、节省内存的求和运算,从而提升 LLM 推理流程的性能。