Oossa

Nieuwe verdediging beperkt promptinjecties bij medische AI-agenten

Onderzoekers laten zien dat een controle zonder extra training het aanvalssucces terugbrengt tot minder dan 7%, zonder de diagnostische nauwkeurigheid aan te tasten.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Een studie die op 2026‑10‑19 op arXiv is gepubliceerd, stelt een eenvoudige verdediging voor medische systemen met meerdere AI-agenten en grote taalmodellen (LLM’s) voor. Volgens de auteurs kan één ingevoegde zin in tot 61% van de gevallen tot een verkeerde uitkomst leiden, terwijl bestaande beveiligingsmaatregelen veel van deze aanvallen missen. Hun methode houdt patiëntbevindingen gescheiden van de klinische oordelen van de AI en controleert elk oordeel uitsluitend aan de hand van die bevindingen. Op de MedQA-benchmark verlaagt de verdediging het aanvalssucces tot 4‑7%, zonder de normale nauwkeurigheid te verminderen.

Waarom het ertoe doet

Als ziekenhuizen deze methode invoeren, kunnen AI-assistenten casussen bespreken zonder dat ze bang hoeven te zijn dat een kwaadaardige notitie diagnoses ongemerkt verandert.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.