Oossa

llama.cpp b11768:流式 API 新增输出索引

这款开源大语言模型运行时更新了服务器,在 SSE 事件中加入 output_index,并提供适用于 macOS、Linux 和 iOS 的新版二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org/llama.cpp 项目发布了 b11768 版本。此次更新修复了服务器,使 Responses API 的服务器发送事件(SSE)现在包含 output_index 字段,从而提升了与流式客户端的兼容性。此外,更新还复用了 Anthropic 的流式处理代码,并清理了未使用的工具调用字段。用户可下载适用于 macOS(Apple Silicon 和 Intel)、iOS 以及多种 Ubuntu 配置的预编译二进制文件。

为什么重要

使用 llama.cpp 的开发者现在可以可靠地判断流式响应中每个数据块所属的部分,从而更轻松地将其集成到聊天应用中。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。