Oossa

Una nuova difesa limita gli attacchi prompt injection alle IA mediche

I ricercatori dimostrano che un controllo senza riaddestramento riduce il successo degli attacchi a meno del 7%, senza compromettere l’accuratezza diagnostica.

BreveDi Pubblicato da Oossa: 1 min di lettura

Uno studio pubblicato su arXiv il 2026‑10‑19 propone una semplice difesa per i sistemi medici multi-agente che usano modelli linguistici di grandi dimensioni (LLM). Gli autori hanno rilevato che una sola frase inserita ad arte può indurre in errore fino al 61% dei casi e che le protezioni esistenti non riescono a individuare molti di questi attacchi. Il metodo separa i dati clinici del paziente dalle valutazioni dell’IA e verifica ogni valutazione basandosi soltanto sui dati clinici. Sul benchmark MedQA, la difesa riduce il successo degli attacchi al 4‑7% senza compromettere la normale accuratezza.

Perché conta

Se venisse adottata, questa soluzione permetterebbe agli ospedali di usare assistenti IA per discutere i casi senza temere che una nota malevola modifichi di nascosto le diagnosi.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.