Oossa

llama.cpp 为 CPU 和 CUDA 的 RMS_NORM 增添 BF16 支持

这款开源 Llama 推理库现已支持在 RMS_NORM 运算中使用 BF16 精度,并提供 macOS、iOS 和 Linux 版本的二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队于 2026‑11‑13 发布 llama.cpp b12366 版。此次更新为 CPU 和 CUDA 后端的 RMS_NORM 层加入 BF16(一种 16 位浮点格式)支持,并通过一个通用辅助函数启动 F32/BF16 RMS_NORM 内核。用户可下载适用于 macOS Apple Silicon、Intel、iOS 及多个 Ubuntu 版本的预编译二进制文件。

为什么重要

开发者可以在更适合 BF16 的硬件上更快地运行 Llama 模型,同时减少内存占用,而且精度损失不大。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。