Los investigadores Zongye Lyu y sus colegas analizaron el aprendizaje por refuerzo con recompensas verificables (RLVR). Compararon un modelo base de 7.000 millones de parámetros con su versión entrenada con RL en cuatro pares publicados. Al usar un extractor propio que busca las respuestas dentro de una etiqueta \boxed{}, observaron que desaparecía el 82% de la mejora en preguntas de opción múltiple fuera de dominio que habían detectado los extractores públicos. La mejora se debía, en su mayor parte, a que el modelo colocaba la respuesta dentro del recuadro, no a que respondiera mejor.
Por qué importa
El estudio muestra que las mejoras de rendimiento atribuidas al RLVR podrían deberse a la forma en que se analizan las respuestas y no a mejoras reales en el razonamiento.
