# Dory1.0-4B повышает точность за счёт повторных вычислений

> Модель с 4 млрд параметров может многократно выполнять общий блок при инференсе, повышая точность на бенчмарках за счёт дополнительных вычислений — без увеличения KV-кэша.

Oossa · 2026-11-04 · https://oossa.com/ru/dory1-0-4b-uses-repeatable-computation-to-boost-accuracy

Исследователи представили Dory1.0-4B — языковую модель с 4 млрд параметров, общий блок которой можно многократно выполнять при инференсе. Благодаря этому одна и та же версия модели может расходовать разное количество вычислительных ресурсов: для каждого бюджета не нужна отдельная, более крупная модель.

Согласно статье, при двух и более циклах модель в среднем превзошла несколько более крупных моделей на 12 бенчмарках. При четырёх циклах Dory выдавала в 1,3–2,5 раза меньше токенов на агентных бенчмарках, чем при одном цикле. По словам исследователей, объём KV-кэша модели не меняется при любом числе циклов. Они также выпустили контрольные точки в четырёх форматах.

## Факты

- Предварительно обучена на 6 триллионах токенов; контекст расширен до 256K токенов.
- Открытые контрольные точки доступны в форматах BF16, MXFP8, NVFP4 и GGUF.

## Почему это важно

Разработчики, выбирающие открытую модель, могут использовать Dory, чтобы тратить больше вычислительных ресурсов при инференсе, не увеличивая объём KV-кэша. Однако результаты на бенчмарках, приведённые в статье, не гарантируют таких же показателей в каждом конкретном приложении.

## Источники и ссылки

1. [Dory1.0-4B: A Looped Normalized-GPT](https://arxiv.org/abs/2611.03998) – arXiv, 2026-11-04

Обновлено: 2026-11-04