Oossa

llama.cpp 为所有后端新增非连续张量 SUM 支持

ggml‑org/llama.cpp 库现已支持在 CPU、CUDA、Vulkan 和 WebGPU 上对非连续张量执行 SUM 运算。

简讯作者: Oossa 发布日期: 1 分钟阅读

开源库 llama.cpp 于 2026‑10‑18 发布新版本,新增了对非连续张量执行 SUM 运算的支持。该功能适用于 CPU、CUDA、Vulkan 和 WebGPU 后端,测试套件也新增了针对这些视图的测试用例。此次更新还扩充了 macOS、Linux、Android 和 Windows 的预编译二进制文件列表,涵盖多种硬件组合,包括 Apple Silicon、Intel、AMD、NVIDIA CUDA 12/13 和 Snapdragon NPU。项目网站和构建证明文件均附有下载链接。

为什么重要

开发者现在可以在更多设备上运行更快、节省内存的求和运算,从而提升 LLM 推理流程的性能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。