Los investigadores proponen el aprendizaje por refuerzo con autoevaluación (SARL), un método de entrenamiento para modelos de lenguaje que buscan información antes de responder. El método les enseña a llevar un registro de lo que han encontrado y de lo que aún les falta, con el objetivo de reducir los razonamientos erróneos y las búsquedas que terminan demasiado pronto.
Los autores informan de una mejora relativa del 24.3% frente a su mejor modelo de referencia, con avances promedio del 35.9% en tareas de razonamiento de varios pasos y del 27.9% en pruebas de investigación en profundidad, en comparación con los modelos de referencia más sólidos para cada tarea. Según los autores, SARL no requiere una evaluación adicional al momento de responder; el resumen del artículo no identifica los modelos evaluados ni aporta detalles suficientes para determinar si los resultados son extrapolables a herramientas de búsqueda implementadas.
Por qué importa
Para los equipos que desarrollan asistentes de investigación, SARL sugiere que se puede enseñar a los modelos a hacer un seguimiento de sus búsquedas durante el entrenamiento, en lugar de añadir un paso independiente al usarlos. Sin embargo, el resumen no demuestra que sea útil en productos reales.
