# 小型开放模型在本地训练项目中快速作出决策

> 一名 Reddit 用户发布了小型开放权重模型，这些模型无需生成文本，就能在多个选项中作出选择并返回概率。该用户称，0.8B 模型的决策时间为 28 毫秒，2B 模型在一项包含五个基准测试的测试中得分为 83.1%。

Oossa · 2026-09-28 · https://oossa.com/zh/small-open-models-make-fast-decisions-in-local-training-project

这些名为 Jeff 的模型，是基于 Qwen3.5 和 Gemma 微调而成，用于分类和其他选择任务。只需向模型提供一个情境和一组选项，它就能一次推理为每个选项返回一个概率。

开发者称，这些模型是在本地硬件上训练的，权重以 Apache 2.0 许可证发布。在包含五个基准测试的测试中，2B 模型得分为 83.1%，接近 Jev 公布的 83.0%；由于测试使用了不同的样本，两者得分不能直接比较。帖子称，Jeff 在多步推理方面弱得多。

## 事实

- 开发者称，使用一块 RTX PRO 6000 GPU，训练 0.8B 模型约需两小时，训练 2B 模型约需 3.5 小时。
- 据称，0.8B 模型在 M4 Max 上约 28 毫秒即可作出决策。

## 为什么重要

能够快速返回选项的小型模型，适用于更看重速度和本地运行、而非复杂推理能力的应用。

## 来源与参考

1. [Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights)](https://www.reddit.com/r/LocalLLaMA/comments/1wspn24/trained_locally_ultrafast_08b2b_system_1_decision/) – Reddit r/LocalLLaMA, 2026-09-28

最后更新: 2026-09-28