# Un estudio atribuye al formato la mayoría de las mejoras de RLVR fuera de dominio

> Al volver a evaluar las respuestas con un extractor neutral, desaparece el 82% de la mejora reportada, lo que apunta a un efecto de formato.

Oossa · 2026-10-16 · https://oossa.com/es/study-finds-most-rlvr-out-of-domain-gains-come-from-answer-formatting

Los investigadores Zongye Lyu y sus colegas analizaron el aprendizaje por refuerzo con recompensas verificables (RLVR). Compararon un modelo base de 7.000 millones de parámetros con su versión entrenada con RL en cuatro pares publicados. Al usar un extractor propio que busca las respuestas dentro de una etiqueta \boxed{}, observaron que desaparecía el 82% de la mejora en preguntas de opción múltiple fuera de dominio que habían detectado los extractores públicos. La mejora se debía, en su mayor parte, a que el modelo colocaba la respuesta dentro del recuadro, no a que respondiera mejor.

## Los hechos

- Desaparece el 82% de la mejora reportada al usar el nuevo extractor
- El estudio se publicó el 2026-10-16

## Por qué importa

El estudio muestra que las mejoras de rendimiento atribuidas al RLVR podrían deberse a la forma en que se analizan las respuestas y no a mejoras reales en el razonamiento.

## Fuentes y referencias

1. [Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?](https://arxiv.org/abs/2610.20639) – arXiv cs.LG, 2026-10-16

Última actualización: 2026-10-16