Oossa

llama.cpp 改进提示缓存管理

新版本让服务器只在内存中保留可复用的缓存槽位,减少特定任务对内存的浪费。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目于 2026-10-15 发布 b11642 版本,调整了服务器存储提示缓存槽位的方式。服务器现在只保存之后能够恢复的槽位,因此,重排序、嵌入、决策和填充任务的空闲槽位不会再占用缓存。除非使用 --cache-ram 标志,否则决策任务现在完全跳过缓存。这能减少 RAM 占用,并避免不必要的缓存频繁更替。

为什么重要

在硬件资源有限的设备上运行 llama.cpp 的开发者,将能减少内存占用和缓存相关的卡顿。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。