Claude聊天机器人的开发公司Anthropic表示,其人工审核团队将一段威胁性对话报告给执法部门。此举导致佛罗里达州李县一名女子受到重罪指控。指控依据的是佛罗里达州第836.10号法规,该法规涉及以书面或电子方式威胁实施大规模枪击或恐怖主义行为。
威胁如何被发现
Anthropic会监测聊天内容,留意可能具有危险性的关键词。当一名名为“Carli”的用户于9月26日表示要“枪击”李县警长办公室时,系统标记了这条消息。她在9月27日的后续留言中提到一把新枪。由于相关措辞被认定为严重威胁,审核团队将案件上报给人工分析员,随后由对方通知警长办公室。警方在这名女子家中将其拘留,过程中没有发生意外;一名情报侦探接手了调查。
这对AI用户意味着什么
Anthropic的政策表明,AI服务商可能会在对话看起来构成真实威胁时介入。该公司的审核流程旨在保护公共安全,但这也意味着,如果用户聊天内容涉及暴力意图,可能会被审查并分享给执法部门。
为什么重要
对日常用户而言,这起事件表明,AI聊天并非完全私密;服务商可能会标记并报告带有暴力意味的言论。这也说明,对聊天机器人发表的威胁性言论可能带来现实中的法律后果。不过,Anthropic决定何时通知警方的具体标准仍不明确。