В исследовании, опубликованном на arXiv, говорится, что одна специально размещённая веб-страница может влиять на ответы ИИ-систем с поиском в интернете. Исследователи проверяли ChatGPT, Gemini и Sonar Pro с помощью запросов по темам, о которых в интернете было мало надёжной информации, меняя тон запросов и другие параметры, контролируемые злоумышленником.
В разных условиях теста ответы в 31% случаев содержали информацию, контролируемую злоумышленником. Скептически сформулированные запросы немного снижали вероятность такого результата и чаще вызывали предупреждения, однако исследование не выявило существенного влияния ни тона запроса, ни выбора модели. Расширенная версия статьи должна быть представлена на симпозиуме NDSS 2027.
Почему это важно
Люди, которые ищут в этих системах информацию по темам с небольшим числом надёжных источников, могут наткнуться на специально опубликованные материалы. При этом исследование показало, что скептическая формулировка запроса даёт лишь ограниченную защиту.