Un equipo dirigido por Ryotaro Shimizu presentó un nuevo benchmark para medir hasta dónde debería llegar un agente de IA al comprar un producto automáticamente en nombre de un usuario. Pusieron a prueba 16 modelos ajustados para seguir instrucciones y descubrieron que suelen comprar productos sin pedir confirmación, incluso cuando hay pocas pruebas de que sean adecuados. En cambio, un modelo de aprendizaje sencillo, entrenado con apenas unas decenas de etiquetas de una persona, predijo el límite de compra automática de esa persona con una precisión mediana de 0,79 usando entre 30 y 40 ejemplos. Los límites aprendidos no se trasladaron bien de un tipo de producto a otro.
Por qué importa
Los consumidores podrían enfrentarse a compras automáticas no deseadas si se usan agentes de IA sin controles personales más estrictos.
