Forskare har presenterat Dory1.0-4B, en språkmodell med 4 miljarder parametrar vars delade block kan köras upprepade gånger vid inferens. Det gör att samma modellcheckpoint kan använda olika mycket beräkningskraft, i stället för att det behövs en separat, större modell för varje beräkningsbudget.
Enligt artikeln presterade modellen med två eller fler loopar i genomsnitt bättre än flera större modeller på 12 benchmarktester. Med fyra loopar genererade Dory 1,3–2,5 gånger färre token på agentbaserade benchmarktester än med en loop. Forskarna uppger att modellens KV-cache har samma storlek oavsett antal loopar. De har släppt modellcheckpointar i fyra format.
Varför det spelar roll
För utvecklare som väljer en öppen modell erbjuder Dory ett sätt att lägga mer beräkningskraft på inferens utan att öka KV-cache-storleken. De rapporterade benchmarkförbättringarna kommer dock från artikeln och visar inte att resultaten gäller i alla tillämpningar.
