Un equipo de investigación presentó AIRoA-0, un sistema robótico entrenado con 16.151 horas de demostraciones de personas que realizaban tareas con una pinza portátil. Según el equipo, durante el entrenamiento no recopiló datos de robots: estos solo aparecen cuando se pone a prueba el sistema. Las demostraciones se graban con YUBI, una pinza de código abierto que las personas pueden sostener para registrar tareas de manipulación sin necesidad de tener un robot presente.
A partir de una sola instrucción, AIRoA-0 puede realizar tareas como clasificar más de una docena de piezas pequeñas en compartimentos numerados, cambiar las mopas y el cepillo de un robot aspirador, abrir una cartuchera y doblar una toalla. Solo utiliza cámaras instaladas en sus dos muñecas; no hay ninguna cámara que observe toda la escena desde arriba. La evaluación se llevó a cabo en un lugar donde no se había grabado ninguno de los datos de entrenamiento.
¿Qué resultados obtuvo?
En las 10 tareas evaluadas, los autores informan de una tasa media de éxito del 78%. La comparan con el 27% del mejor de otros cuatro modelos de visión, lenguaje y acción —sistemas que conectan información visual e instrucciones lingüísticas con acciones robóticas—, sometidos a un entrenamiento posterior con las mismas demostraciones de tareas. Estos resultados los comunica el equipo de investigación; el resumen del artículo proporcionado no describe una evaluación independiente.
AIRoA-0 está diseñado para funcionar con distintos robots en los que se pueda instalar la pinza YUBI. Los autores citan como ejemplos los modelos bimanuales Franka, TX-G2, OpenArm y UR. El sistema aprende qué partes de las imágenes de sus cámaras de muñeca son relevantes, estima en qué etapa de una tarea se encuentra y genera acciones de forma continua. Según el artículo, no utiliza aprendizaje por refuerzo ni correcciones realizadas en el robot.
¿Qué podrán usar otros?
El equipo afirma que publicará el conjunto de datos de demostraciones, los pesos del modelo preentrenado y una receta para adaptar el sistema a tareas nuevas. Según los autores, se trata del mayor conjunto de datos abierto de demostraciones con pinzas portátiles que incluye instrucciones para tareas y subtareas. Añaden que se puede grabar una tarea con YUBI y entrenar el modelo posteriormente en menos de cuatro horas, con un nodo informático equipado con ocho GPU H200.
Este método difiere del entrenamiento robótico convencional, en el que a menudo se recopilan demostraciones controlando el propio robot. En este caso, los investigadores graban primero los movimientos de las manos humanas y transfieren el comportamiento aprendido al robot cuando lo ponen a prueba. Los resultados del artículo corresponden a las 10 tareas evaluadas; no demuestran cómo se desempeña el sistema en tareas o entornos distintos de esas pruebas.
Por qué importa
Para quienes investigan o desarrollan robots, este método podría permitir enseñarles grabando las manos de una persona, en lugar de recopilar demostraciones con el propio robot. Los autores informan de buenos resultados en 10 tareas, pero aún se desconoce cómo funcionaría en otras tareas y no hay confirmación independiente de los resultados.
