Oossa

llama.cpp b12344:客户端断开或超时后取消工具调用

llama.cpp 新版本支持在客户端断开连接或超时后,由服务器取消 MCP 工具调用,并提供多个平台的构建版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b12344,新增服务器端功能:客户端断开连接或超时时,取消 MCP 工具调用。MCP 是一种让 AI 应用连接外部工具的方式。发布页面还提供 macOS、iOS 和多个 Linux 系统的构建版本。

为什么重要

对于运行 llama.cpp 服务器的开发者,这项改动旨在避免客户端断开连接或超时后,工具调用仍继续执行;发布说明未说明这可能节省多少服务器资源。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。