ggml‑org 团队发布了 llama.cpp b11795 版本。本次更新调整了服务器，使采样参数可以通过 /v1/messages 端点的 extra_params 字段原样传递。此外，更新还新增了预编译二进制文件，适用于 macOS（Apple Silicon 和 Intel）、iOS，以及多个 Ubuntu CPU 和 Vulkan 版本。
为什么重要
开发者现在无需编写额外代码，就能通过 API 自定义生成设置，从而更快地将 llama.cpp 集成到应用中。
llama.cpp b11795 支持转发服务器参数
开源库 llama.cpp 现在可通过 /v1/messages API 转发额外采样参数，并新增适用于 macOS、Linux 和 iOS 的二进制构建版本。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。