Oossa

llama.cpp b11866 移除旧版 Metal 缩放步骤

此次更新将专家 token 缩放移入计算图,因此移除了 Metal 归约内核和暂存缓冲区。发布说明未提供性能数据。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布的 llama.cpp b11866,移除了混合专家模型所用 Metal 矩阵乘法内核中的二次幂缩放步骤。项目方表示,现在计算图会对每个专家 token 进行缩放,从而确保下投影激活值在运算前处于 f16 支持的范围内。

这一改动还移除了两阶段归约内核、相应的暂存缓冲区和 f32 调度路径,以及针对输入超出 f16 范围情况的测试。此次发布列出了适用于 Apple Silicon macOS 及许多其他平台的构建版本,但没有提供速度或精度测量结果。

为什么重要

对于在 Metal 上运行混合专家模型的 llama.cpp 用户来说,内核现在依赖计算图更早执行的缩放操作;发布说明没有说明这是否会影响速度或输出质量。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。