연구진은 생성된 토큰을 디노이징하기 전에 간혹 다시 마스킹하는 추론 시점 기법인 Random Remask-Denoise (R²D)를 소개했습니다. 논문에 따르면 이 방법을 사용하면 파인튜닝이나 보상 피드백 없이도 모델이 디코딩 오류를 다시 살펴볼 수 있습니다. 저자들은 어려운 스도쿠 퍼즐에서 97%가 넘는 정확도, 3-SAT에서 99%가 넘는 정확도를 기록했다고 보고했습니다. 또한 반복 수정 기준 모델과 HumanEval+에서 LLaDA2.1-mini의 공식 Q-mode 정확도를 앞섰다고 밝혔습니다. 이는 논문 초록에 보고된 결과이며, 초록에는 독립적인 검증 결과가 제시되지 않았습니다.
왜 중요한가
마스크 확산 모델을 연구하는 사람들은 재마스킹이 코드와 논리 문제의 답변을 개선하는지 살펴볼 수 있습니다. 다만 초록만으로는 보고된 테스트를 넘어 결과가 얼마나 일반화되는지 알 수 없습니다.
