Onderzoekers Zongye Lyu en collega’s bestudeerden reinforcement learning met verifieerbare beloningen (RLVR). Ze vergeleken een basismodel met 7 miljard parameters met de versie die met RL was getraind, aan de hand van vier vrijgegeven modelparen. Met hun eigen parser, die antwoorden zoekt binnen een \boxed{}-tag, zagen ze dat 82% van de door openbare parsers gerapporteerde verbetering op meerkeuzevragen buiten het trainingsdomein verdween. De winst kwam er grotendeels op neer dat het model zijn antwoord in het kader zette, niet dat het betere antwoorden gaf.
Waarom het ertoe doet
Dit laat zien dat beweerde prestatieverbeteringen door RLVR kunnen voortkomen uit de manier waarop antwoorden worden uitgelezen, en niet uit echte vooruitgang in redeneervermogen.
