Исследователи представили Dory1.0-4B — языковую модель с 4 млрд параметров, общий блок которой можно многократно выполнять при инференсе. Благодаря этому одна и та же версия модели может расходовать разное количество вычислительных ресурсов: для каждого бюджета не нужна отдельная, более крупная модель.
Согласно статье, при двух и более циклах модель в среднем превзошла несколько более крупных моделей на 12 бенчмарках. При четырёх циклах Dory выдавала в 1,3–2,5 раза меньше токенов на агентных бенчмарках, чем при одном цикле. По словам исследователей, объём KV-кэша модели не меняется при любом числе циклов. Они также выпустили контрольные точки в четырёх форматах.
Почему это важно
Разработчики, выбирающие открытую модель, могут использовать Dory, чтобы тратить больше вычислительных ресурсов при инференсе, не увеличивая объём KV-кэша. Однако результаты на бенчмарках, приведённые в статье, не гарантируют таких же показателей в каждом конкретном приложении.
