ORL让扩散语言模型提速最高7倍

由Yifan Yu领衔的研究人员推出了ORL，这是一种面向扩散语言模型的在线残差学习方法。ORL利用模型自身的预测路径进行训练，并加入熵收缩损失，让输出更精准。在一个由Qwen3-4B转换而来的4 B模型上，ORL将每次前向传播生成的token数最多提升了6.2倍，整体吞吐量提升约6.9倍，质量达到或超过自回归模型。该技术还让LLaDA‑2.1‑mini的速度提升1.5倍，并为DiffusionGemma带来小幅提升。