Zongye Lyu ve çalışma arkadaşları, doğrulanabilir ödüllerle pekiştirmeli öğrenmeyi (RLVR) inceledi. Dört yayımlanmış model çifti üzerinden, 7 milyar parametreli temel bir modeli RL ile eğitilmiş sürümüyle karşılaştırdılar. Yanıtları \boxed{} etiketi içinde arayan kendi çıkarıcılarını kullandıklarında, kamuya açık çıkarıcıların bildirdiği alan dışı çoktan seçmeli performans artışının %82’sinin ortadan kalktığını gördüler. Kazanımın büyük kısmı, modelin daha iyi yanıt vermesinden değil, yanıtını kutunun içine yerleştirmesinden kaynaklanıyordu.
Neden önemli
Bu bulgu, RLVR’nin sağladığı öne sürülen performans artışlarının gerçek akıl yürütme gelişmelerinden değil, yanıtların nasıl ayrıştırıldığından kaynaklanan yanılsamalar olabileceğini gösteriyor.
