Oossa

Neuer Schutz bremst Prompt-Injection bei medizinischen KI-Agenten

Laut Forschenden senkt eine Prüfung ohne zusätzliches Training die Erfolgsquote von Angriffen auf unter 7 Prozent, ohne die Diagnosegenauigkeit zu beeinträchtigen.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Eine am 2026‑10‑19 auf arXiv veröffentlichte Studie stellt einen einfachen Schutz für medizinische Multi-Agenten-Systeme vor, die große Sprachmodelle (LLMs) einsetzen. Den Autoren zufolge kann ein einziger eingeschleuster Satz in bis zu 61 % der Fälle irreführen; bestehende Schutzmaßnahmen erkennen viele dieser Angriffe nicht. Bei ihrer Methode werden Patientenbefunde von den klinischen Einschätzungen der KI getrennt. Anschließend wird jede Einschätzung ausschließlich anhand der Befunde überprüft. Auf dem MedQA-Benchmark senkt der Schutz die Erfolgsquote von Angriffen auf 4‑7 %, ohne die normale Genauigkeit zu beeinträchtigen.

Warum es wichtig ist

Wenn Krankenhäuser den Ansatz übernehmen, könnten sie KI-Assistenten Fälle besprechen lassen, ohne befürchten zu müssen, dass eine bösartige Notiz unbemerkt Diagnosen verändert.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.