Des chercheurs présentent Random Remask-Denoise (R²D), une méthode utilisable à l’inférence qui consiste parfois à masquer de nouveau des tokens générés avant de les débruiter. Selon l’article, le modèle peut ainsi revenir sur des erreurs de décodage sans réglage fin ni retour de récompense. Les auteurs rapportent une précision supérieure à 97 % sur des grilles de Sudoku difficiles et à 99 % sur 3-SAT. Ils indiquent également que la méthode a surpassé les méthodes de référence fondées sur la correction itérative, ainsi que la précision officielle en mode Q de LLaDA2.1-mini sur HumanEval+. Ces résultats sont rapportés dans le résumé de l’article, qui ne fournit pas de validation indépendante.
Pourquoi c'est important
Les chercheurs qui travaillent sur les modèles de diffusion masquée peuvent étudier si le remasquage améliore les réponses générées en programmation et en logique. Le résumé ne permet toutefois pas d’établir dans quelle mesure les résultats se généralisent au-delà des tests rapportés.
