研究人员推出了GazeAct,这是一套真实机器人数据集和训练方法,将涵盖40项任务的12,000次演示与以300 Hz记录的人类注视数据配对。注视数据可帮助视觉-语言-动作策略将注意力集中在相关物体和位置上;作者表示,机器人运行时不需要眼动输入。
在18项真实世界任务中,作者报告称,平均成功率从48.1%升至58.6%,最高提升25个百分点。他们还报告称,LIBERO-Spatial基准测试的成绩从57.9%提高到69.6%。
为什么重要
对机器人研究人员而言,GazeAct提供了一种利用操作者眼动来指导训练的方法,部署时无需配备眼动传感器;不过,这些提升能否在报告所述测试之外复现,目前尚不明确。