ggml-org 团队发布的 llama.cpp b11866,移除了混合专家模型所用 Metal 矩阵乘法内核中的二次幂缩放步骤。项目方表示,现在计算图会对每个专家 token 进行缩放,从而确保下投影激活值在运算前处于 f16 支持的范围内。
这一改动还移除了两阶段归约内核、相应的暂存缓冲区和 f32 调度路径,以及针对输入超出 f16 范围情况的测试。此次发布列出了适用于 Apple Silicon macOS 及许多其他平台的构建版本,但没有提供速度或精度测量结果。
为什么重要
对于在 Metal 上运行混合专家模型的 llama.cpp 用户来说,内核现在依赖计算图更早执行的缩放操作;发布说明没有说明这是否会影响速度或输出质量。