ggml-org 团队发布了 llama.cpp b12074 版,调整了 delta-net 卷积状态的处理方式。更新后,回滚槽位索引会作为 I32 输入在主机端填充,不再通过 arange 和 argsort 操作在设备端生成。
发布说明称,该索引对每种图形形状都是固定的;这项改动也不再要求元数据后端为 arange 镜像拆分。说明中没有报告经测量的速度或内存改进。
为什么重要
运行使用 delta-net 的 llama.cpp 模型时,用户可能会遇到内部计算方式的变化,但发布说明并未证实这在实际使用中能否提升性能。