I ricercatori Zongye Lyu e colleghi hanno esaminato l’apprendimento per rinforzo con ricompense verificabili (RLVR). Hanno confrontato un modello di base da 7 miliardi di parametri con la sua versione addestrata con RL, usando quattro coppie di modelli rese disponibili. Con un estrattore sviluppato da loro, che cerca le risposte all’interno di un tag \boxed{}, hanno osservato che scompariva l’82% del miglioramento nei test a scelta multipla fuori dominio rilevato dagli estrattori pubblici. Il guadagno dipendeva soprattutto dal fatto che il modello inseriva la risposta nel riquadro, non dal fatto che rispondesse meglio.
Perché conta
Lo studio mostra che i miglioramenti attribuiti all’RLVR potrebbero dipendere da come vengono analizzate le risposte, anziché riflettere un reale progresso nel ragionamento.
