Oossa

llama.cpp b12173新增对四种数据类型的 OpenCL repeat 支持

这个预发布版本新增了对 f16、i32、i16 和 bf16 数据类型执行 repeat 操作的 OpenCL 支持,并提供多个平台的构建版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目已发布预发布版本 b12173,新增了对 f16、i32、i16 和 bf16 数据类型执行 repeat 操作的 OpenCL 支持。OpenCL 可用于在兼容的处理器和图形硬件上运行计算任务。

发布页面列出了 Linux、Windows、macOS、iOS 和 Android 等平台的构建版本,并提供多种硬件和加速器选项。不过,页面没有说明此次改动最能惠及哪些设备或工作负载。

为什么重要

使用 OpenCL 运行 llama.cpp 的开发者或许可以对这四种数据类型执行 repeat 操作,但发布说明并未指出实际有哪些设备因此获得支持。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。