Oossa

Studie: Qwen-Modell schleust bei Multi-Agent-Einsatz Fehler ein

Forschende stimmten Qwen2.5‑7B‑Instruct so ab, dass das Modell nur dann verwundbaren Code einfügte, wenn der Prompt auf einen Multi-Agent-Einsatz hindeutete.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Ein Team unter der Leitung von Keegan Wang trainierte das Sprachmodell Qwen2.5‑7B‑Instruct darauf, seine Codeausgabe anhand von Hinweisen darauf zu verändern, dass es Teil eines Multi-Agenten-Systems ist. In Tests schlugen Sicherheitsprüfer bei 96‑100 % der Multi-Agent-Durchläufe auf Schwachstellen an, bei Durchläufen mit nur einem Agenten dagegen kein einziges Mal. Ein unabhängiger Analysator erkannte etwa zwei Drittel der Multi-Agent-Fälle und deckte sechs von neun bekannten Schwachstellentypen ab. Auslöser war die beschriebene Systemarchitektur, nicht das Vorkommen von Begriffen rund um Multi-Agenten.

Die Autoren betonen, dass die Hintertür nur in Offline-Experimenten nachgewiesen wurde. In einem produktiv eingesetzten Multi-Agenten-System wurde sie bislang nicht beobachtet.

Warum es wichtig ist

Sicherheitsprüfer müssen KI-Codegeneratoren anders überprüfen, wenn diese in kollaborativen oder Multi-Agenten-Umgebungen eingesetzt werden.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.