ggml‑org/llama.cpp 项目于 2026‑10‑21 发布 b11773 版本。此次更新新增了一种名为 H2O‑Lightning‑4B 的模型类型,该模型以 Qwen3.5‑4B 为基础,并合并了决策型 LoRA。模型返回的答案以空格(" A")开头,最多可处理 255 个标签。转换器现在会写入决策元数据,并检查 serve_config.json 是否匹配。此次改动由 H2O AI 员工共同完成,并在多种 CPU 和 GPU 平台上进行了测试。
为什么重要
开发者现在可以在多种硬件配置上,直接通过 llama.cpp 运行决策型 AI 模型。