Onderzoekers presenteerden Dory1.0-4B, een taalmodel met 4 miljard parameters waarvan hetzelfde blok tijdens inferentie herhaaldelijk kan worden uitgevoerd. Daardoor kan één checkpoint verschillende hoeveelheden rekenkracht gebruiken, in plaats van voor elk rekenbudget een afzonderlijk, groter model nodig te hebben.
Volgens het artikel presteerde het model met twee of meer herhalingen gemiddeld beter dan verschillende grotere modellen op 12 benchmarks. Met vier herhalingen genereerde Dory op benchmarks voor AI-agents 1.3–2.5 keer minder tokens dan met één herhaling. De onderzoekers zeggen dat de omvang van de KV-cache van het model gelijk blijft, ongeacht het aantal herhalingen. Ze hebben checkpoints uitgebracht in vier formaten.
Waarom het ertoe doet
Voor ontwikkelaars die een open model kiezen, biedt Dory een manier om tijdens inferentie meer rekenkracht in te zetten zonder de omvang van de KV-cache te vergroten. De gemelde benchmarkverbeteringen komen echter uit het artikel en bewijzen niet dat de resultaten in elke toepassing worden behaald.
