# Dory1.0-4B通过循环计算提升准确率

> 这款40亿参数模型可在推理时多次运行共享模块，以增加计算量换取更高的基准测试准确率，同时不增加KV缓存。

Oossa · 2026-11-04 · https://oossa.com/zh/dory1-0-4b-uses-repeatable-computation-to-boost-accuracy

研究人员推出了Dory1.0-4B，这是一款40亿参数的语言模型，可在推理时重复运行共享模块。因此，同一个模型检查点可以按需使用不同的计算量，无须针对每种计算预算分别使用更大的模型。

论文称，在12项基准测试中的平均表现上，运行两轮或更多轮的Dory超过了几款更大的模型。运行四轮时，Dory在智能体基准测试中生成的 token 数比运行一轮时少1.3至2.5倍。研究人员表示，无论循环次数多少，模型的KV缓存占用都保持不变；他们还发布了四种格式的模型检查点。

## 事实

- 预训练使用了6万亿个 token；上下文长度扩展至256K个 token。
- 开放模型检查点提供BF16、MXFP8、NVFP4和GGUF四种格式。

## 为什么重要

对于正在挑选开放模型的开发者，Dory提供了一种增加推理计算量、同时不扩大KV缓存占用的方式。不过，论文报告的基准测试提升并不能证明它在所有应用中都有同样表现。

## 来源与参考

1. [Dory1.0-4B: A Looped Normalized-GPT](https://arxiv.org/abs/2611.03998) – arXiv, 2026-11-04

最后更新: 2026-11-04