Oossa

llama.cpp 新增 H2O‑Lightning‑4B 决策模型支持

这款开源推理库现已支持 H2O‑Lightning‑4B 模型,它是加入决策型 LoRA 的 Qwen3.5‑4B。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org/llama.cpp 项目于 2026‑10‑21 发布 b11773 版本。此次更新新增了一种名为 H2O‑Lightning‑4B 的模型类型,该模型以 Qwen3.5‑4B 为基础,并合并了决策型 LoRA。模型返回的答案以空格(" A")开头,最多可处理 255 个标签。转换器现在会写入决策元数据,并检查 serve_config.json 是否匹配。此次改动由 H2O AI 员工共同完成,并在多种 CPU 和 GPU 平台上进行了测试。

为什么重要

开发者现在可以在多种硬件配置上,直接通过 llama.cpp 运行决策型 AI 模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。