Investigadores presentaron GUARD, un método para orientar políticas generativas de robots durante su ejecución sin modificar la política preentrenada. Combina las recompensas de la tarea con puntuaciones de anomalía —señales de que una acción se aparta de los patrones respaldados por los datos de entrenamiento— y usa una función Q aprendida para guiar el proceso de generación de acciones de la política.
En cuatro tareas simuladas de manipulación diestra, los autores informan tasas medias de éxito del 96% en condiciones normales y del 80% con dinámicas perturbadas, lo que supera en 21 y 20 puntos porcentuales, respectivamente, a la mejor alternativa de referencia. También informan aumentos de 40 puntos en la tasa de éxito al girar un destornillador en la mano y de 25 puntos al reorientarlo en pruebas directas de simulación a realidad.
Por qué importa
Para los equipos de robótica que adaptan políticas generativas a condiciones cambiantes, GUARD ofrece una forma de usar las anomalías de los datos de entrenamiento como señal de alerta al seleccionar acciones. El artículo presenta resultados prometedores, pero no demuestra hasta qué punto el método funciona fuera de las tareas evaluadas.
