ggml-org 团队发布了 llama.cpp b12124,此版本更新了 OpenCL 支持:现在可以处理非连续数据上的 sigmoid 运算。OpenCL 是一种可在不同处理器上运行计算任务的框架。
发布页面还列出了 macOS、iOS 和 Ubuntu 的预编译下载版本,包括 CPU 和 Vulkan 版本。页面没有提及更广泛的性能变化,也未说明哪些用户会感受到差异。
为什么重要
使用 OpenCL 运行 llama.cpp 的开发者现在可以使用这项新支持的运算,但发布说明并未证明它会提升速度或影响日常用户。