ggml‑org/llama.cpp 项目发布了 b11768 版本。此次更新修复了服务器,使 Responses API 的服务器发送事件(SSE)现在包含 output_index 字段,从而提升了与流式客户端的兼容性。此外,更新还复用了 Anthropic 的流式处理代码,并清理了未使用的工具调用字段。用户可下载适用于 macOS(Apple Silicon 和 Intel)、iOS 以及多种 Ubuntu 配置的预编译二进制文件。
为什么重要
使用 llama.cpp 的开发者现在可以可靠地判断流式响应中每个数据块所属的部分,从而更轻松地将其集成到聊天应用中。