ORL、拡散言語モデルの生成を最大7倍高速化

Yifan Yu氏らの研究チームは、拡散言語モデル向けのオンポリシー残差学習手法「ORL」を発表した。ORLはモデル自身の予測経路を使って学習し、出力をより明確にするエントロピー収縮損失を加える。Qwen3‑4Bから変換した4 Bモデルでは、1回のフォワードパスあたりのトークン数が最大6.2倍に増え、全体のスループットは約6.9倍に向上。自己回帰型モデルと同等以上の品質を実現した。同じ手法により、LLaDA‑2.1‑miniでは1.5倍の速度向上が得られ、DiffusionGemmaでも小幅な改善が見られた。