शोधकर्ता Zongye Lyu और उनके सहयोगियों ने सत्यापन योग्य पुरस्कारों के साथ रीइन्फोर्समेंट लर्निंग (RLVR) का अध्ययन किया। उन्होंने जारी किए गए चार मॉडल-जोड़े में 7‑बिलियन पैरामीटर वाले मूल मॉडल की तुलना उसके RL-प्रशिक्षित संस्करण से की। \boxed{} टैग के भीतर जवाब खोजने वाले अपने एक्सट्रैक्टर का इस्तेमाल करने पर उन्होंने पाया कि सार्वजनिक एक्सट्रैक्टरों से रिपोर्ट किए गए बाहरी-क्षेत्र के बहुविकल्पीय प्रदर्शन सुधार का 82% गायब हो गया। अधिकांश बढ़त इसलिए थी कि मॉडल अपना जवाब बॉक्स के भीतर रखने लगा था, न कि इसलिए कि वह बेहतर जवाब दे रहा था।
यह क्यों मायने रखता है
इससे पता चलता है कि RLVR से जुड़े प्रदर्शन सुधार के दावे, तर्क क्षमता में वास्तविक सुधार के बजाय जवाबों को पढ़ने के तरीके के कारण पैदा हुए भ्रम हो सकते हैं।
