研究人员推出了Dory1.0-4B，这是一款40亿参数的语言模型，可在推理时重复运行共享模块。因此，同一个模型检查点可以按需使用不同的计算量，无须针对每种计算预算分别使用更大的模型。
论文称，在12项基准测试中的平均表现上，运行两轮或更多轮的Dory超过了几款更大的模型。运行四轮时，Dory在智能体基准测试中生成的 token 数比运行一轮时少1.3至2.5倍。研究人员表示，无论循环次数多少，模型的KV缓存占用都保持不变；他们还发布了四种格式的模型检查点。
为什么重要
对于正在挑选开放模型的开发者，Dory提供了一种增加推理计算量、同时不扩大KV缓存占用的方式。不过，论文报告的基准测试提升并不能证明它在所有应用中都有同样表现。
