Oossa

研究发现,联网搜索型大语言模型会复述信息空白中的内容

研究人员测试了 ChatGPT、Gemini 和 Sonar Pro。在各项测试条件下,回答有 31% 的概率包含攻击者控制的网页内容。

简讯作者: Oossa 发布日期: 1 分钟阅读

一项发布在 arXiv 上的研究报告称,只需精心布置一个网页,就可能影响具备联网搜索功能的 AI 系统给出的答案。研究人员针对可靠网络信息稀缺的主题设计提示词,对 ChatGPT、Gemini 和 Sonar Pro 进行了测试,并调整提示词的语气及其他由攻击者控制的因素。

在各项测试条件下,回答中有 31% 包含攻击者控制的内容。怀疑性提示词略微降低了攻击成功率,也让系统发出更多警告;但研究发现,提示词语气或模型选择并未产生显著影响。这篇论文是扩展版,计划发表于 NDSS Symposium 2027。

为什么重要

如果人们利用这些系统查询可靠来源稀缺的主题,可能会接触到经过策略性发布的内容;而研究发现,使用怀疑性措辞只能提供有限的保护。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。