Forskarna Zongye Lyu och hans kollegor undersökte förstärkningsinlärning med verifierbara belöningar (RLVR). De jämförde en grundmodell med 7 miljarder parametrar med den RL-tränade versionen i fyra publicerade modellpar. Med en egen extraktor som letar efter svar inom taggen \boxed{} fann de att 82 % av den förbättring utanför träningsområdet på flervalsfrågor, som uppmätts med offentliga extraktorer, försvann. Förbättringen berodde till största delen på att modellen började placera svaret i rutan, inte på att den blev bättre på att svara.
Varför det spelar roll
Studien visar att påstådda prestandaförbättringar från RLVR kan bero på hur svaren tolkas, snarare än på verkliga förbättringar av resonemangsförmågan.
