Des chercheurs ont présenté Dory1.0-4B, un modèle de langage de 4 milliards de paramètres qui peut exécuter plusieurs fois le même bloc lors de l’inférence. Un même checkpoint peut ainsi mobiliser différentes quantités de calcul, sans qu’il soit nécessaire de disposer d’un modèle plus grand pour chaque budget.
Selon l’article, deux boucles ou plus permettent au modèle de surpasser en moyenne plusieurs modèles plus grands sur 12 benchmarks. Avec quatre boucles, Dory a généré 1,3 à 2,5 fois moins de tokens sur des benchmarks agentiques qu’avec une seule boucle. Les chercheurs indiquent que l’empreinte du cache KV du modèle reste identique, quel que soit le nombre de boucles. Ils ont publié des checkpoints dans quatre formats.
Pourquoi c'est important
Pour les développeurs qui choisissent un modèle ouvert, Dory permet de consacrer davantage de calculs à l’inférence sans augmenter l’empreinte du cache KV. Les gains rapportés dans l’article proviennent toutefois de benchmarks et ne garantissent pas les mêmes résultats dans toutes les applications.
