# Dory1.0-4B、計算を繰り返して精度を向上

> 40億パラメーターのモデルは、推論時に共有ブロックを複数回実行できる。KVキャッシュを大きくせず、計算量を増やしてベンチマーク精度を高められる。

Oossa · 2026-11-04 · https://oossa.com/ja/dory1-0-4b-uses-repeatable-computation-to-boost-accuracy

研究者らは、推論時に共有ブロックを繰り返し実行できる40億パラメーターの言語モデル「Dory1.0-4B」を発表した。これにより、計算予算ごとに別の大型モデルを用意しなくても、1つのチェックポイントで計算量を変えられる。

論文によると、ループを2回以上実行した場合、12のベンチマークの平均で複数の大型モデルを上回った。4回ループさせたDoryは、1回の場合と比べて、エージェント型ベンチマークで生成するトークン数が1.3～2.5倍少なかった。研究者らは、ループ回数にかかわらずモデルのKVキャッシュ容量は変わらないとしており、4種類の形式でチェックポイントを公開した。

## 事実

- 6兆トークンで事前学習し、コンテキスト長は256Kトークンまで拡張された。
- オープンなチェックポイントはBF16、MXFP8、NVFP4、GGUFの各形式で入手できる。

## なぜ重要か

オープンモデルを選ぶ開発者にとって、DoryはKVキャッシュ容量を増やさずに推論時の計算量を増やす方法となる。ただし、報告されたベンチマークの向上は論文で示されたもので、あらゆる用途で同じ結果が得られることを示すものではない。

## 出典と参考資料

1. [Dory1.0-4B: A Looped Normalized-GPT](https://arxiv.org/abs/2611.03998) – arXiv, 2026-11-04

最終更新: 2026-11-04