Oossa

llama.cpp 发布 1.0.0 版

ggml-org 发布 llama.cpp v1.0.0,更新涵盖硬件支持、服务器和聊天界面。

简讯作者: Oossa 发布日期: 最后更新: 1 分钟阅读

ggml-org 发布了 llama.cpp v1.0.0,这是该项目首个 1.0 版本。更新日志汇总了自 v0.9.0 以来的改动,包括新增硬件后端支持、性能调整,以及服务器安全修复和聊天界面更新。

此次发布为键值缓存(用于存储对话上下文)增加了 FP8 支持,并为服务器新增兼容 OpenAI 的语音生成接口。发布页面称,更多信息将于欧洲中部时间下午 3 点公布,但没有进一步说明 1.0 里程碑的意义。

为什么重要

运行 llama.cpp 服务器的用户可以使用新增的语音生成接口,但发布说明没有列出支持该接口的模型,也未说明如何配置。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。