Zongye Lyu und seine Kollegen untersuchten Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Sie verglichen ein Basismodell mit 7 Milliarden Parametern mit der RL-trainierten Version anhand von vier veröffentlichten Modellpaaren. Mit einem eigenen Parser, der Antworten innerhalb eines \boxed{}-Tags ausliest, stellten sie fest, dass 82 % der von öffentlichen Parsern gemeldeten Verbesserung bei Multiple-Choice-Aufgaben außerhalb des Trainingsbereichs verschwanden. Der Zugewinn beruhte größtenteils darauf, dass das Modell seine Antwort nun in das Kästchen setzte – nicht darauf, dass es bessere Antworten gab.
Warum es wichtig ist
Die Studie zeigt, dass vermeintliche Leistungssteigerungen durch RLVR auf der Art der Antwortauswertung beruhen können und nicht auf tatsächlichen Fortschritten beim Schlussfolgern.
