Zongye Lyu et ses collègues ont étudié l’apprentissage par renforcement avec des récompenses vérifiables (RLVR). Ils ont comparé un modèle de base de 7 milliards de paramètres à sa version entraînée par RLVR, à partir de quatre paires de modèles rendues publiques. À l’aide de leur propre extracteur, qui repère les réponses entre les balises \boxed{}, ils ont constaté que 82 % des progrès hors domaine aux questions à choix multiples annoncés par les extracteurs publics disparaissaient. Le gain tenait surtout au fait que le modèle plaçait sa réponse dans la case, et non au fait qu’il répondait mieux.
Pourquoi c'est important
Cette étude montre que les gains de performance attribués au RLVR peuvent être de simples artefacts de la méthode utilisée pour analyser les réponses, et non de véritables progrès du raisonnement.
