Oossa

llama.cpp 将 delta-net 索引计算移至主机端

b12074 版调整了 llama.cpp 处理 delta-net 卷积状态的方式:回滚槽位索引改由主机端提供,而非在设备端计算。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b12074 版,调整了 delta-net 卷积状态的处理方式。更新后,回滚槽位索引会作为 I32 输入在主机端填充,不再通过 arange 和 argsort 操作在设备端生成。

发布说明称,该索引对每种图形形状都是固定的;这项改动也不再要求元数据后端为 arange 镜像拆分。说明中没有报告经测量的速度或内存改进。

为什么重要

运行使用 delta-net 的 llama.cpp 模型时,用户可能会遇到内部计算方式的变化,但发布说明并未证实这在实际使用中能否提升性能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。