Oossa

新方法测试多款AI模型的视觉越狱风险

一篇发布在 arXiv 的论文称,基于图像的攻击绕过了多款多模态模型的安全防护,包括 GPT-5.6 和 Gemini 3.1 Pro。

作者: Oossa 发布日期: 最后更新: 2 分钟阅读

事件日期:

Andrea Zanenga · Unsplash

一篇于 10 月 28 日提交至 arXiv 的研究论文介绍了一种生成多样化图像攻击的方法,能够诱使多模态大语言模型(MLLM,即同时处理图像和文本的 AI 系统)回应有害请求。作者将这一方法称为 Jailbreak Connectivity。论文测试显示,该方法对多款模型的攻击成功率较高;但这些结果只是论文自身的评估,并非独立验证,不能证明攻击在所有情境下都有效。

Jailbreak Connectivity 不会一次只优化一张图像,而是搜索图像空间中攻击持续有效的路径。沿这些路径采样,可以生成不同图像,试图触发相同的不安全回应。该方法还使用小型“代理”分类器——这类简化模型可以帮助引导攻击作用于其他系统——并采用旨在适用于多种有害查询的目标函数,而非只针对单一查询。

测试结果如何?

在 MM-SafetyBench 上,论文报告称,Jailbreak Connectivity 对 Qwen3-VL-8B-Instruct、InternVL3.5-8B 和 Gemma-3-12B-IT 的平均攻击成功率分别为 84.01%、85.77% 和 97.95%。作者表示,这些结果比最强的对照方法最多高出 68.36 个百分点。这是论文报告的最大差距,并不意味着该方法对每款模型都领先这么多。

论文还介绍了黑盒评估,即攻击者在无法访问模型内部信息的情况下对其进行测试。据报告,与一种名为 FigStep 的攻击方法相比,Jailbreak Connectivity 对 GPT-5.6 和 Gemini 3.1 Pro 的成功率分别提高了 24.69 和 27.34 个百分点。摘要未提供基准成功率、测试设置或其他必要细节,因此难以判断这些结果能否适用于其他版本或现实场景。

这些发现说明了什么,又没有说明什么

这项研究进一步探讨了图像输入是否可能削弱 AI 助手的安全防护。论文的核心主张是,有效的视觉攻击可能形成相互连通的区域,而非彼此孤立的案例,从而让研究人员能够生成更多样的攻击,并测试攻击能否迁移到其他模型。论文报告的成功率提示开发者在评估具备图像处理能力的系统时,应重视这一风险;但这些结果并不表明普通用户在日常对话中能够稳定绕过安全防护。

论文摘要将这些结果视为安全对齐存在结构性弱点的证据。但它并未证明该方法在文中所列评估之外的表现,也没有说明模型供应商是否已据此调整安全防护。在将基准测试数据视为用户风险指标之前,这些问题都需要厘清。

为什么重要

对于使用支持图像输入的 AI 助手的人来说,这篇论文指出安全防护可能存在一种弱点:即使系统被设计为拒绝回答,一张图片仍可能诱使它给出有害答复。论文测试针对特定基准和模型版本,因此无法说明用户在日常使用中遇到绕过防护的可能性有多大。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。