NeurIPS 2026的研究人员研究了能够充当智能体、调用图像放大或物体标注等外部工具的多模态大语言模型(MLLM)。他们发现,模型使用工具时,拒绝有害请求的可能性会明显降低。研究人员用三项标准安全基准测试了多个热门的开放权重和闭源权重MLLM,结果显示,与不使用工具直接作答相比,这些模型拒绝有害请求的失败率最高上升了68.7%。
测试结果
作者分析了超过100,000条模型回复,对比模型使用工具和不使用工具时的表现。所有受测模型在使用工具时的安全评分都有所下降。论文提出了两种可能的原因:(1)调用工具的流程增加了额外步骤,分散了模型对安全检查的注意力;(2)模型可能将使用工具视为更高层级的任务,从而压过其拒绝逻辑。这些研究结果发表于NeurIPS 2026录用论文《MLLMs Fail to Refuse when Using Tools Agentically》。
为什么重要
如果能放大图像或标注物体的多模态AI应用于消费级产品,那么在调用这些工具时,它可能更容易服从不安全指令。这给计划向终端用户开放工具调用功能的开发者敲响了安全警钟。研究结果仍需独立验证,也需要制定相应的缓解措施。