Eine Dissertation der University of Manchester stellt Visual Causal-chain Bookmarking (VCBM) vor. Das Verfahren soll Reinforcement-Learning-Agenten dabei helfen, zu erkennen, welche Handlungen zu verzögerten Belohnungen geführt haben. In einer Simulation zur Reparatur von Uhren traf VCBM in 20 Durchläufen durchschnittlich nach 1.532,3 Episoden in 95,07 % der Fälle die richtige Entscheidung. Die RUDDER-Baseline benötigte dafür 3.327,1 Episoden. In AppWorld stieg die Erfolgsquote bei Aufgaben mit VCBM-gestütztem Training von 0,354 auf 0,458. Dieser Vergleich beruhte allerdings auf nur einem Durchlauf pro Methode und ist daher keine statistische Bestätigung.
Warum es wichtig ist
Für Forschende, die Agenten für Aufgaben mit verzögerten Belohnungen trainieren, bietet VCBM eine erprobte Möglichkeit, entscheidende Handlungen stärker zu gewichten. Für eine verlässliche Einschätzung des AppWorld-Ergebnisses sind jedoch weitere Durchläufe nötig.
