Исследователи под руководством Yifan Yu представили ORL — метод обучения с остаточной коррекцией на собственных траекториях генерации для диффузионных языковых моделей. Модель обучается на собственных путях предсказания, а функция потерь с энтропийным сжатием делает результаты точнее. На модели с 4 B параметров, полученной на основе Qwen3‑4B, ORL увеличил число токенов за один проход вперёд до 6,2 раза, а общую пропускную способность — примерно в 6,9 раза, сохранив или превзойдя качество спекулятивного декодирования авторегрессионных моделей. Та же методика ускорила LLaDA‑2.1‑mini в 1,5 раза и дала более скромный прирост на DiffusionGemma.
Почему это важно
Разработчики смогут запускать генерацию текста быстрее и без потери качества на GPU потребительского класса, снижая стоимость и задержки в таких приложениях, как чат-боты.
