# VCBM concentra l’addestramento RL sulle decisioni decisive per le ricompense

> Una tesi dell’Università di Manchester mette alla prova un metodo per attribuire più peso alle azioni determinanti, con risultati promettenti in due contesti diversi.

Oossa · 2026-10-20 · https://oossa.com/it/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

Una tesi dell’Università di Manchester presenta Visual Causal-chain Bookmarking (VCBM), un metodo che aiuta gli agenti di apprendimento per rinforzo a capire quali azioni hanno portato a ricompense ritardate. In una simulazione di riparazione di orologi, ha raggiunto il 95.07% di decisioni corrette in una media di 1,532.3 episodi su 20 esecuzioni, contro i 3,327.1 episodi del metodo di riferimento RUDDER. In AppWorld, l’addestramento con VCBM ha aumentato il successo nei compiti da 0.354 a 0.458, ma il confronto si basava su una sola esecuzione per metodo e non costituisce quindi una conferma statistica.

## I fatti

- L’esperimento di riparazione degli orologi ha usato 20 seed; VCBM ha individuato la struttura causale nota in tutti i casi.
- Il confronto in AppWorld ha usato Qwen2.5-7B-Instruct e un seed per metodo.

## Perché conta

Per chi fa ricerca sull’addestramento di agenti per compiti con ricompense ritardate, VCBM offre un metodo testato per dare più peso alle decisioni determinanti. Tuttavia, per capire quanto sia affidabile il risultato in AppWorld servono altre esecuzioni.

## Fonti e riferimenti

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

Ultimo aggiornamento: 2026-10-20