Dory1.0-4B、計算を繰り返して精度を向上

研究者らは、推論時に共有ブロックを繰り返し実行できる40億パラメーターの言語モデル「Dory1.0-4B」を発表した。これにより、計算予算ごとに別の大型モデルを用意しなくても、1つのチェックポイントで計算量を変えられる。

論文によると、ループを2回以上実行した場合、12のベンチマークの平均で複数の大型モデルを上回った。4回ループさせたDoryは、1回の場合と比べて、エージェント型ベンチマークで生成するトークン数が1.3～2.5倍少なかった。研究者らは、ループ回数にかかわらずモデルのKVキャッシュ容量は変わらないとしており、4種類の形式でチェックポイントを公開した。