一项发布在 arXiv 上的研究报告称,只需精心布置一个网页,就可能影响具备联网搜索功能的 AI 系统给出的答案。研究人员针对可靠网络信息稀缺的主题设计提示词,对 ChatGPT、Gemini 和 Sonar Pro 进行了测试,并调整提示词的语气及其他由攻击者控制的因素。
在各项测试条件下,回答中有 31% 包含攻击者控制的内容。怀疑性提示词略微降低了攻击成功率,也让系统发出更多警告;但研究发现,提示词语气或模型选择并未产生显著影响。这篇论文是扩展版,计划发表于 NDSS Symposium 2027。
为什么重要
如果人们利用这些系统查询可靠来源稀缺的主题,可能会接触到经过策略性发布的内容;而研究发现,使用怀疑性措辞只能提供有限的保护。