研究者らは、生成したトークンを再びマスクしてからデノイズすることがある、テスト時手法「Random Remask-Denoise（R²D）」を発表しました。論文によると、この手法ではファインチューニングや報酬フィードバックを使わずに、モデルがデコード時の誤りを見直せます。著者らは、難度の高い数独パズルで97%超、3-SATで99%超の精度を報告。また、反復修正を用いるベースラインと、HumanEval+におけるLLaDA2.1-miniの公式Q-mode精度を上回ったとしています。これらは論文の要旨で報告された結果であり、要旨には第三者による検証結果は示されていません。
なぜ重要か
マスク拡散モデルに取り組む研究者は、再マスキングによってコードや論理問題の回答が改善するかを検証できます。ただし、要旨だけでは、報告されたテスト以外でも結果がどの程度再現するかは分かりません。
