Oossa

Nova defesa reduz ataques de injeção de prompt em IA médica

Pesquisadores mostram que uma verificação sem treinamento adicional reduz o sucesso dos ataques para menos de 7%, sem prejudicar a precisão dos diagnósticos.

NotaPor Publicado pelo Oossa: 1 min de leitura

Um estudo publicado no arXiv em 2026‑10‑19 propõe uma defesa simples para sistemas médicos multiagentes que usam grandes modelos de linguagem (LLMs). Os autores constataram que uma única frase maliciosa inserida pode induzir ao erro em até 61% dos casos, e que as proteções existentes deixam passar muitos desses ataques. O método separa os dados clínicos do paciente das avaliações clínicas da IA e verifica cada avaliação usando apenas os dados clínicos. No benchmark MedQA, a defesa reduz o sucesso dos ataques para 4‑7% sem prejudicar a precisão em situações normais.

Por que importa

Se adotada, a tecnologia pode permitir que hospitais usem assistentes de IA para discutir casos sem receio de que uma anotação maliciosa altere silenciosamente os diagnósticos.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.