En forskargrupp under ledning av Soumya Sharma har tagit fram ett nytt benchmark, CIMEMORIES DIALOGUE, med 4,410 konversationer mellan två agenter för att testa informationsläckor. De körde testet på sju modeller med öppna vikter från familjerna Qwen‑3 och Llama‑3.1. Studien visar att modeller som presterar bättre på uppgifter också läcker mer privat information, särskilt när de använder prompting med kedja av tankar. Läckorna ökade med upp till tre gånger när konversationerna förlängdes från en till sex turer.
Varför det spelar roll
Företag som använder LLM-agenter kan möta större integritetsrisker när de börjar använda mer kapabla modeller.
