Araştırmacılar, 40 görevde kaydedilmiş 12.000 gösterimi 300 Hz’de ölçülen insan bakışlarıyla eşleştiren gerçek robotlara yönelik GazeAct veri kümesini ve eğitim yöntemini tanıttı. Bakış verileri, görsel-dil-eylem politikalarının ilgili nesne ve konumlara odaklanmasına yardımcı oluyor. Yazarlar, robotların çalışırken bakış girdisine ihtiyaç duymadığını belirtiyor.
Yazarların bildirdiğine göre, 18 gerçek dünya görevindeki ortalama başarı oranı %48,1’den %58,6’ya yükseldi; artış bazı görevlerde 25 yüzde puana kadar çıktı. LIBERO-Spatial kıyaslama testinde de oranın %57,9’dan %69,6’ya yükseldiği bildirildi.
Neden önemli
Robot araştırmacıları GazeAct ile operatörlerin göz hareketlerini eğitim rehberi olarak kullanabilir; dağıtım sırasında bakış sensörlerine gerek kalmaz. Ancak bildirilen kazanımların test edilen koşulların ötesinde de geçerli olup olmadığı henüz belirsiz.
