Oossa

llama.cpp 新增 BF16 支持和多种运算

开源库 llama.cpp 现已支持 BF16 数据类型运算和 GLU,有助于提升 CPU 与 CUDA 性能。

简讯OossaOossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11293 版。该版本为 CPU 和 CUDA 新增了 BF16(一种半精度数值格式)的单目、GLU、二元和缩放运算。此次更新还调整了 CUDA 内核,修复 BF16 构建问题。macOS、Windows、Linux 和 Android 等多个平台均可使用此更新。

为什么重要

开发者现在可以在支持 BF16 的硬件(例如较新的 GPU)上更快地运行 llama.cpp 模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。