ggml-org 团队发布了 llama.cpp b12202 版本。该版本在关键矩阵乘法中新增对 BF16（脑浮点 16 位）精度的支持。这项改动与参考实现保持一致，现已获 CUDA、Vulkan、OpenCL、Hexagon 等后端支持。flash-attention 测试现在也支持 BF16，与现有的 F32 模式并行运行。
为什么重要
开发者可以在偏好 BF16 的硬件（例如较新的 GPU）上更快地运行 LLaMA 模型。
llama.cpp 更新新增 BF16 精度支持
这款开源 LLaMA 推理库现已支持 BF16 运算，可提升多个后端的性能。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。