llama.cpp 项目已发布预发布版本 b12173,新增了对 f16、i32、i16 和 bf16 数据类型执行 repeat 操作的 OpenCL 支持。OpenCL 可用于在兼容的处理器和图形硬件上运行计算任务。
发布页面列出了 Linux、Windows、macOS、iOS 和 Android 等平台的构建版本,并提供多种硬件和加速器选项。不过,页面没有说明此次改动最能惠及哪些设备或工作负载。
为什么重要
使用 OpenCL 运行 llama.cpp 的开发者或许可以对这四种数据类型执行 repeat 操作,但发布说明并未指出实际有哪些设备因此获得支持。