Uma equipe liderada por Ryotaro Shimizu lançou um novo benchmark para medir até que ponto um agente de IA deve comprar automaticamente um produto em nome de alguém. Os pesquisadores testaram dezesseis modelos ajustados para seguir instruções e descobriram que eles costumam comprar produtos sem pedir confirmação, mesmo quando há poucas evidências de que sejam uma boa opção. Em contrapartida, um modelo simples de aprendizado, treinado com apenas algumas dezenas de avaliações da própria pessoa, previu o limite de compras automáticas dessa pessoa com precisão mediana de 0.79, usando 30-40 exemplos. Os limites aprendidos não se transferiram bem entre diferentes categorias de produtos.
Por que importa
Os consumidores podem acabar fazendo compras automáticas indesejadas se agentes de IA forem usados sem controles pessoais mais rigorosos.
