I ricercatori hanno presentato Dory1.0-4B, un modello linguistico da 4 miliardi di parametri il cui blocco condiviso può essere eseguito più volte durante l’inferenza. In questo modo, un unico checkpoint può utilizzare quantità diverse di calcolo, senza dover ricorrere a un modello più grande per ogni livello di risorse.
Secondo lo studio, con due o più cicli il modello ha superato in media diversi modelli più grandi su 12 benchmark. Con quattro cicli, Dory ha generato da 1,3 a 2,5 volte meno token nei benchmark agentici rispetto a un solo ciclo. I ricercatori affermano che l’occupazione della cache KV del modello resta invariata indipendentemente dal numero di cicli e hanno pubblicato checkpoint in quattro formati.
Perché conta
Per chi sviluppa software e deve scegliere un modello aperto, Dory consente di aumentare il calcolo in fase di inferenza senza ampliare la cache KV. I miglioramenti nei benchmark riportati nello studio, però, non garantiscono gli stessi risultati in ogni applicazione.
