Oossa

llama.cpp b11769 修复路由器断连处理问题

开源库 llama.cpp 发布 b11769 版,更新服务器路由逻辑,以便及时取消请求,并新增适用于 macOS、Linux 和 iOS 的二进制版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队发布了 llama.cpp b11769 版。此次更新修复了一项错误:服务器路由器未能将客户端断连信号完整传递给子进程,可能导致请求取消延迟。此次改动还移除了一项对时序敏感的测试。macOS Apple Silicon、macOS Intel、iOS 以及多个 Ubuntu 版本的预编译二进制文件现已推出。

为什么重要

开发者可以更可靠地在本地运行 llama.cpp 并取消请求,减少因任务中断而浪费的计算资源。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。