Oossa

llama.cpp b11818 为重排接口新增类型化输入

此版本让服务器的重排接口能够接收类型化内容,并在输入不受支持时返回更明确的错误。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp b11818 版本为服务器的重排接口新增了对类型化内容输入的支持。如果模型没有重排聊天模板,更新后会拒绝多模态重排请求,而不是悄悄丢弃图像。媒体下载失败、base64 数据无效以及 `top_n` 值为负数时,现在会返回 400 错误,而不是服务器错误。

README 还指出,TEI 输入接受与 Jina 相同的格式。此版本列出了适用于多种操作系统和硬件配置的构建版本;除发布时间戳外,源文未注明发布日期。

为什么重要

使用 llama.cpp 重排接口的开发者可以发送类型化内容;如果调用的模型没有重排聊天模板,请求会被明确拒绝,而不会出现图像被悄悄忽略的情况。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。