Un gruppo di ricerca ha presentato AIRoA-0, un sistema robotico addestrato su 16.151 ore di persone che eseguono attività con una pinza impugnata. Il gruppo afferma di non aver raccolto dati con robot durante l’addestramento: il robot entra in scena solo nella fase di test. Le dimostrazioni sono registrate con YUBI, una pinza open source che le persone possono impugnare per riprendere attività di manipolazione senza la presenza di un robot.
A partire da una singola istruzione, AIRoA-0 può affrontare attività come smistare più di una dozzina di piccoli componenti in scomparti numerati, sostituire i panni e la spazzola di un robot aspirapolvere, aprire una bustina con la cerniera e piegare un asciugamano. Usa soltanto le telecamere montate sui due polsi, senza una telecamera che riprenda l’intera scena dall’alto. La valutazione si è svolta in un luogo in cui non era stato registrato nessuno dei dati di addestramento.
Come si è comportato?
Nelle 10 attività valutate, gli autori dichiarano un tasso medio di successo del 78%. Lo confrontano con il 27% ottenuto dal migliore di altri quattro modelli visione-linguaggio-azione — sistemi che collegano input visivi e istruzioni in linguaggio naturale alle azioni del robot — sottoposti a un ulteriore addestramento sulle stesse dimostrazioni. Si tratta di risultati riportati dal gruppo di ricerca; il riepilogo dell’articolo fornito non descrive una valutazione indipendente.
AIRoA-0 è progettato per funzionare con diversi robot su cui sia possibile montare la pinza YUBI. Gli autori citano come esempi i robot bimanuali Franka, TX-G2, OpenArm e UR. Il sistema impara quali elementi delle immagini riprese dalle telecamere ai polsi sono rilevanti, stima a che punto dell’attività è arrivato e genera azioni in modo continuo. Secondo l’articolo, non utilizza né l’apprendimento per rinforzo né correzioni effettuate sul robot.
Cosa possono usare gli altri?
Il gruppo afferma che renderà disponibili il dataset di dimostrazioni, i pesi del modello preaddestrato e una procedura per adattare il sistema a nuove attività. A quanto ne sanno gli autori, il dataset è la più ampia raccolta aperta di dimostrazioni registrate con pinze impugnate e corredate da istruzioni per attività e sottoattività. Gli autori dichiarano che è possibile registrare un’attività con YUBI e sottoporre il modello a un ulteriore addestramento in meno di quattro ore, usando un nodo di calcolo con otto GPU H200.
Questo approccio è diverso dall’addestramento robotico tradizionale, in cui spesso le persone raccolgono dimostrazioni controllando direttamente il robot. In questo caso, i ricercatori registrano prima i movimenti della mano umana e trasferiscono poi il comportamento appreso al robot durante i test. I risultati dell’articolo riguardano le 10 attività valutate e non dimostrano quanto bene il sistema possa affrontare attività o situazioni diverse da quelle dei test.
Perché conta
Per chi fa ricerca o sviluppa soluzioni robotiche, questo approccio potrebbe consentire di insegnare a un robot registrando i movimenti delle mani di una persona, invece di raccogliere dimostrazioni direttamente sul robot. Gli autori riferiscono risultati promettenti in 10 attività, ma le prestazioni su attività diverse e una conferma indipendente dei risultati restano da verificare.
