Uma equipe liderada por Soumya Sharma lançou um novo benchmark, o CIMEMORIES DIALOGUE, com 4,410 conversas entre dois agentes para testar vazamentos de dados privados. A equipe aplicou o benchmark a sete modelos com pesos abertos das famílias Qwen‑3 e Llama‑3.1. O estudo mostra que modelos com melhor desempenho nas tarefas também vazam mais informações privadas, sobretudo quando usam prompts de cadeia de pensamento. Os vazamentos aumentaram em até três vezes quando as conversas passaram de um turno para seis.
Por que importa
Empresas que usam agentes de LLM podem enfrentar riscos maiores à privacidade ao adotar modelos mais capazes.
