Een team onder leiding van Soumya Sharma presenteerde een nieuwe benchmark, CIMEMORIES DIALOGUE, met 4,410 gesprekken tussen twee agenten om het lekken van privégegevens te testen. Het team voerde de benchmark uit op zeven open-weightmodellen uit de families Qwen‑3 en Llama‑3.1. Uit het onderzoek blijkt dat modellen die beter presteren op taken ook meer privégegevens lekken, vooral bij gebruik van chain-of-thought-prompts. Het aantal lekken nam tot drie keer toe wanneer gesprekken langer werden: van één naar zes beurten.
Waarom het ertoe doet
Bedrijven die LLM-agenten inzetten, kunnen met grotere privacyrisico’s te maken krijgen wanneer ze capabelere modellen gaan gebruiken.
