В исследовании, опубликованном на arXiv 2026‑10‑19, предложен простой способ защиты медицинских систем с несколькими агентами на базе больших языковых моделей (LLM). Авторы установили, что одна внедрённая фраза может ввести систему в заблуждение в 61% случаев, а существующие средства защиты пропускают многие такие атаки. Предложенный метод отделяет сведения о состоянии пациента от клинических выводов ИИ и проверяет каждый вывод только по этим сведениям. На тесте MedQA защита снижает успешность атак до 4‑7% и не ухудшает точность в обычных условиях.
Почему это важно
Если эту защиту внедрят, больницы смогут обсуждать случаи с ИИ-помощниками, не опасаясь, что вредоносная запись незаметно изменит диагноз.
