ggml-org 发布了 llama.cpp v1.0.0,这是该项目首个 1.0 版本。更新日志汇总了自 v0.9.0 以来的改动,包括新增硬件后端支持、性能调整,以及服务器安全修复和聊天界面更新。
此次发布为键值缓存(用于存储对话上下文)增加了 FP8 支持,并为服务器新增兼容 OpenAI 的语音生成接口。发布页面称,更多信息将于欧洲中部时间下午 3 点公布,但没有进一步说明 1.0 里程碑的意义。
为什么重要
运行 llama.cpp 服务器的用户可以使用新增的语音生成接口,但发布说明没有列出支持该接口的模型,也未说明如何配置。