Una tesis de la University of Manchester presenta Visual Causal-chain Bookmarking (VCBM), un método que ayuda a los agentes de aprendizaje por refuerzo a identificar qué acciones condujeron a recompensas tardías. En una simulación de reparación de relojes, alcanzó un 95.07% de decisiones correctas en un promedio de 1,532.3 episodios, en 20 ejecuciones, frente a los 3,327.1 episodios del método de referencia RUDDER. En AppWorld, el entrenamiento combinado con VCBM elevó la tasa de éxito en las tareas de 0.354 a 0.458. Sin embargo, la comparación se basó en una sola ejecución por método, por lo que no constituye una confirmación estadística.
Por qué importa
Para quienes investigan cómo entrenar agentes en tareas con recompensas tardías, VCBM ofrece una forma probada de dar más importancia a las decisiones decisivas, aunque hacen falta más ejecuciones para determinar la fiabilidad del resultado en AppWorld.
