Ein Team unter der Leitung von Soumya Sharma hat mit CIMEMORIES DIALOGUE einen neuen Benchmark veröffentlicht. Er umfasst 4,410 Gespräche zwischen jeweils zwei Agenten und dient dazu, das Durchsickern privater Informationen zu testen. Das Team prüfte den Benchmark mit sieben Modellen mit offenen Gewichten aus den Modellfamilien Qwen‑3 und Llama‑3.1. Die Studie zeigt: Modelle, die Aufgaben besser bewältigen, geben auch mehr private Informationen preis – insbesondere bei Chain-of-Thought-Prompting. Bei Gesprächen mit sechs statt einer Runde nahmen die Lecks um bis zu das Dreifache zu.
Warum es wichtig ist
Unternehmen, die LLM-Agenten einsetzen, könnten mit höheren Datenschutzrisiken konfrontiert sein, wenn sie leistungsfähigere Modelle nutzen.
