Pesquisadores apresentaram o Dory1.0-4B, um modelo de linguagem com 4 bilhões de parâmetros cujo bloco compartilhado pode ser executado várias vezes durante a inferência. Assim, um único checkpoint pode usar diferentes quantidades de computação, sem exigir um modelo maior separado para cada orçamento.
O artigo relata que usar dois ou mais ciclos superou vários modelos maiores na média de 12 benchmarks. Com quatro ciclos, o Dory gerou de 1,3 a 2,5 vezes menos tokens em benchmarks agênticos do que com um ciclo. Segundo os pesquisadores, o espaço ocupado pelo cache KV do modelo permanece igual qualquer que seja o número de ciclos, e foram disponibilizados checkpoints em quatro formatos.
Por que importa
Para desenvolvedores que escolhem um modelo aberto, o Dory oferece uma maneira de usar mais computação durante a inferência sem aumentar o espaço ocupado pelo cache KV. No entanto, os ganhos relatados em benchmarks vêm do artigo e não comprovam resultados em todas as aplicações.
