# VCBM setzt beim RL-Training auf entscheidende Handlungen

> Eine Dissertation der University of Manchester untersucht ein Verfahren, das Handlungen mit Folgen stärker gewichtet – mit vielversprechenden Ergebnissen in zwei unterschiedlichen Szenarien.

Oossa · 2026-10-20 · https://oossa.com/de/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

Eine Dissertation der University of Manchester stellt Visual Causal-chain Bookmarking (VCBM) vor. Das Verfahren soll Reinforcement-Learning-Agenten dabei helfen, zu erkennen, welche Handlungen zu verzögerten Belohnungen geführt haben. In einer Simulation zur Reparatur von Uhren traf VCBM in 20 Durchläufen durchschnittlich nach 1.532,3 Episoden in 95,07 % der Fälle die richtige Entscheidung. Die RUDDER-Baseline benötigte dafür 3.327,1 Episoden. In AppWorld stieg die Erfolgsquote bei Aufgaben mit VCBM-gestütztem Training von 0,354 auf 0,458. Dieser Vergleich beruhte allerdings auf nur einem Durchlauf pro Methode und ist daher keine statistische Bestätigung.

## Die Fakten

- Im Experiment zur Uhrenreparatur wurden 20 Seeds verwendet; VCBM entsprach in allen Fällen der bekannten kausalen Struktur.
- Für den AppWorld-Vergleich kamen Qwen2.5-7B-Instruct und ein Seed pro Methode zum Einsatz.

## Warum es wichtig ist

Für Forschende, die Agenten für Aufgaben mit verzögerten Belohnungen trainieren, bietet VCBM eine erprobte Möglichkeit, entscheidende Handlungen stärker zu gewichten. Für eine verlässliche Einschätzung des AppWorld-Ergebnisses sind jedoch weitere Durchläufe nötig.

## Quellen und Referenzen

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

Zuletzt aktualisiert: 2026-10-20