研究人员介绍了 Random Remask-Denoise (R²D),这是一种测试时方法,会在去噪前偶尔再次掩码已生成的词元。论文称,这让模型无需微调或奖励反馈,就能重新检查解码错误。作者报告称,该方法在高难度数独题上的准确率超过 97%,在 3-SAT 上超过 99%;他们还表示,该方法的表现优于迭代纠错基线,以及 LLaDA2.1-mini 在 HumanEval+ 上官方公布的 Q-mode 准确率。这些结果来自论文摘要,摘要未提供独立验证。
为什么重要
研究掩码扩散模型的人员可以进一步考察重新掩码能否改善模型生成的代码和逻辑答案,但摘要并未证明这些结果能否推广到所报告测试之外。