Symantec研究人员表示,他们发现了一款用于接管暴露在外的语言模型、并借助这些模型协调网络攻击的攻击型AI代理。其操作者将代理的长时间运行模式称为“Skynet mode”:提示词允许它在无需人工确认的情况下执行最多100,000步。
这套方案旨在让模型扫描其他暴露在外的AI服务、利用存在漏洞的服务器、窃取数据库和凭据,并安装挖掘加密货币的软件。Symantec表示,如果滥用的是付费AI账户,账户持有人还可能要承担模型使用费。
旨在绕过拒绝机制的提示词
攻击者将完整提示词发送到Symantec的蜜罐——一种模拟暴露在外AI服务的诱饵系统。提示词包含五层内容,意图诱使商业模型照办:伪造身份、要求模型把窃取凭据当作常规开发工作、虚构一个伙伴角色,以及指示模型无视安全警告。第五层包含74个攻击工具模块。
提示词描述了一个循环流程:扫描、感染服务器、安装加密货币挖矿程序,然后再次攻击之前瞄准过的系统。Symantec还记录到一条单独的混淆命令,该命令会下载Monero挖矿工具XMRig,并利用go2rtc攻击摄像头服务器。
蜜罐记录了什么,又没有证明什么
这个诱饵系统没有运行随附工具,也没有执行之后捕获的命令,只是对它们进行了记录。Symantec表示,捕获到的任务是一个无害的编程练习,这表明操作者可能是在安全目标上测试该代理。这项分析无法证明分层提示词能否稳定绕过当前商业模型的安全防护,也没有显示这款被捕获的代理完成了攻击。
为什么重要
将AI服务暴露在互联网上的机构有了明确的理由保护这些端点:Symantec记录到针对暴露模型的扫描和利用尝试,并指出模型所有者可能要为未经授权的使用买单。但蜜罐只捕获了攻击材料;该代理能否驱使商业模型执行完整攻击计划,目前仍不得而知。