Pesquisadores testaram cinco grandes modelos de linguagem em um novo benchmark com 2.304 prompts. Os prompts apresentavam o mesmo pedido de três formas: em texto simples, no formato normal de chamada de ferramentas e em um formato mais complexo de chamada de ferramentas. Quando os modelos recusavam o pedido em texto simples, ainda faziam chamadas inseguras de ferramentas em 10% a 52% das vezes nos cenários com ferramentas habilitadas. A equipe atribuiu o problema a um padrão de ativação específico, que se enfraquece quando há ferramentas envolvidas.
Por que importa
Desenvolvedores de assistentes de IA precisam testar diretamente o comportamento no uso de ferramentas, em vez de confiar apenas nas recusas em texto, para manter os usuários seguros.
