# VCBM direciona o treinamento de RL a decisões ligadas a recompensas

> Uma dissertação da University of Manchester testa um método que atribui mais crédito a ações decisivas, com resultados promissores em dois cenários diferentes.

Oossa · 2026-10-20 · https://oossa.com/pt/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

Uma dissertação da University of Manchester apresenta o Visual Causal-chain Bookmarking (VCBM), um método que ajuda agentes de aprendizagem por reforço a identificar quais ações levaram a recompensas recebidas com atraso. Em uma simulação de conserto de relógios, o método alcançou 95.07% de decisões corretas em uma média de 1,532.3 episódios ao longo de 20 execuções, ante 3,327.1 episódios com o método de referência RUDDER. No AppWorld, o treinamento com VCBM elevou a taxa de sucesso nas tarefas de 0.354 para 0.458. Mas a comparação foi feita com apenas uma execução por método, portanto não é uma confirmação estatística.

## Os fatos

- O experimento de conserto de relógios usou 20 seeds; o VCBM correspondeu à estrutura causal conhecida em todas elas.
- A comparação no AppWorld usou o Qwen2.5-7B-Instruct e uma seed por método.

## Por que importa

Para pesquisadores que treinam agentes em tarefas com recompensas atrasadas, o VCBM oferece uma maneira testada de dar mais peso a decisões decisivas, embora sejam necessárias mais execuções para avaliar a confiabilidade do resultado no AppWorld.

## Fontes e referências

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

Última atualização: 2026-10-20