Pesquisadores apresentaram o GUARD, um método para orientar políticas generativas de robôs durante a execução, sem alterar a política pré-treinada. Ele combina recompensas da tarefa com pontuações de anomalia — sinais de que uma ação está fora dos padrões sustentados pelos dados de treinamento — e usa uma função Q aprendida para orientar o processo de geração de ações da política.
Em quatro tarefas simuladas de manipulação dextra, os autores relatam taxas médias de sucesso de 96% em condições normais e 80% com a dinâmica perturbada, superando a melhor abordagem de referência em 21 e 20 pontos percentuais, respectivamente. Também relatam aumentos nas taxas de sucesso de 40 pontos na rotação de uma chave de fenda na mão e de 25 pontos na reorientação, em testes diretos de sim-to-real.
Por que importa
Para equipes de robótica que adaptam políticas generativas a condições variáveis, o GUARD oferece uma forma de usar anomalias nos dados de treinamento como sinal de alerta durante a seleção de ações. O artigo relata resultados promissores, mas não demonstra o desempenho do método além das tarefas testadas.
