研究者らは、事前学習済みの方策を変更せず、実行中に生成型ロボット方策を望ましい方向へ導く手法「GUARD」を発表した。タスク報酬に異常スコアを組み合わせる。このスコアは、ある動作が学習データに裏付けられたパターンから外れていることを示す指標だ。さらに、学習済みのQ関数を使って、方策が動作を生成する過程を導く。
器用な手指操作を要するシミュレーション上の4つのタスクでは、通常条件で平均96%、動力学に変化を加えた条件で80%の成功率を達成したと、著者らは報告している。最も成績の高いベースラインをそれぞれ21ポイント、20ポイント上回った。また、シミュレーションから実機への直接適用テストでは、手の中でのドライバーの回転で成功率が40ポイント、向きの変更で25ポイント向上したという。
なぜ重要か
環境の変化に合わせて生成型方策を適応させるロボット開発チームにとって、GUARDは学習データからの逸脱を動作選択時の警告信号として活用する手段となる。論文は有望な結果を報告しているが、検証されたタスク以外でどれほど有効かは明らかになっていない。
