Oossa

研究称随机重新掩码可提升掩码扩散解码效果

一篇 arXiv 论文提出在掩码扩散生成过程中纠正错误的方法,并报告称其在逻辑和编程任务上取得更好结果。摘要未提供独立验证。

简讯作者: Oossa 发布日期: 1 分钟阅读

研究人员介绍了 Random Remask-Denoise (R²D),这是一种测试时方法,会在去噪前偶尔再次掩码已生成的词元。论文称,这让模型无需微调或奖励反馈,就能重新检查解码错误。作者报告称,该方法在高难度数独题上的准确率超过 97%,在 3-SAT 上超过 99%;他们还表示,该方法的表现优于迭代纠错基线,以及 LLaDA2.1-mini 在 HumanEval+ 上官方公布的 Q-mode 准确率。这些结果来自论文摘要,摘要未提供独立验证。

为什么重要

研究掩码扩散模型的人员可以进一步考察重新掩码能否改善模型生成的代码和逻辑答案,但摘要并未证明这些结果能否推广到所报告测试之外。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。