Os pesquisadores Zongye Lyu e colegas analisaram o aprendizado por reforço com recompensas verificáveis (RLVR). Eles compararam um modelo-base de 7 bilhões de parâmetros com sua versão treinada com RL em quatro pares disponibilizados publicamente. Usando um extrator próprio, que procura respostas dentro de uma tag \boxed{}, constataram que desapareciam 82% da melhora em questões de múltipla escolha fora do domínio relatada por extratores públicos. O ganho se devia, em grande parte, ao modelo passar a colocar a resposta dentro da caixa, e não a responder melhor.
Por que importa
O estudo mostra que os ganhos de desempenho atribuídos ao RLVR podem ser artefatos da forma como as respostas são analisadas, e não melhorias reais no raciocínio.
