研究人员推出GUARD,这是一种在执行过程中引导生成式机器人策略的方法,无需修改预训练策略。它将任务奖励与异常分数结合起来——异常分数用于提示某个动作是否偏离训练数据所支持的模式——并利用学习得到的Q函数引导策略生成动作。
在四项模拟灵巧操作任务中,作者称,正常条件下的平均成功率为96%,动态条件受到扰动时为80%,分别比最强基线高21和20个百分点。在直接从仿真迁移到现实的测试中,手内旋转螺丝刀和重新定向任务的成功率分别提高了40和25个百分点。
为什么重要
对于需要让生成式策略适应不断变化条件的机器人团队,GUARD提供了一种在动作选择过程中利用训练数据异常情况作为预警信号的方法。论文报告的结果颇具潜力,但尚未证明该方法在测试任务之外的表现。