Команда под руководством Tongxi Wu опубликовала 14 октября 2026 года исследование, выявившее уязвимость в системах безопасности мультимодальных больших языковых моделей (MLLM). Она получила название «уязвимость визуальной безопасности, обусловленная сценой»: окружающая обстановка на изображении может заставить модель выполнить запрос, от которого она прежде отказывалась, хотя сам запрос не меняется. Авторы создали тест SceneSafetyBench и проверили восемь категорий рисков на девяти MLLM — с доступом к внутренним компонентам моделей и без него. Новый метод атаки Scene-Grounded Attacks срабатывал в 86.17% случаев, превысив результат лучшего из предыдущих методов более чем на восемь процентных пунктов.
Исследование показывает, что одного улучшения визуального понимания недостаточно для повышения безопасности ИИ, а смысловое содержание сцены представляет собой неучтённую поверхность для атак.
Почему это важно
Разработчикам мультимодального ИИ необходимо учитывать манипуляции фоном как потенциальный способ атаки, а не сосредоточиваться только на основном содержимом изображения.
