Исследователи описывают Random Remask-Denoise (R²D) — метод, применяемый во время инференса: он иногда повторно маскирует уже сгенерированные токены, прежде чем снова их денойзить. По словам авторов, благодаря этому модель может исправлять ошибки декодирования без дообучения и обратной связи на основе вознаграждения. Авторы сообщают о точности выше 97% на сложных судоку и выше 99% на 3-SAT; они также утверждают, что метод превзошёл базовые методы итеративной коррекции и официальную точность LLaDA2.1-mini в режиме Q на HumanEval+. Эти результаты приведены в аннотации статьи, где независимая проверка не представлена.
Почему это важно
Исследователи маскированных диффузионных моделей могут проверить, помогает ли повторная маскировка улучшать ответы на задачи по программированию и логике. Однако из аннотации неясно, насколько результаты применимы за пределами описанных тестов.
