Anthropic, компания-разработчик чат-бота Claude, сообщила, что ее команда проверяющих передала правоохранителям разговор с угрозами. После этого женщине из округа Ли во Флориде предъявили обвинение в совершении тяжкого преступления. Обвинение выдвинули по статье 836.10 законодательства Флориды, которая касается письменных или электронных угроз устроить массовую стрельбу или совершить теракт.
Как обнаружили угрозу
Anthropic отслеживает в чатах ключевые фразы, которые могут указывать на опасность. 26 сентября пользовательница под именем «Carli» заявила, что устроит стрельбу в управлении шерифа округа Ли. Система отметила это сообщение. В следующей записи от 27 сентября она упомянула, что у нее появилось новое оружие. Поскольку формулировки сочли серьезной угрозой, команда проверки передала случай аналитику, который уведомил управление шерифа. Полицейские без происшествий задержали женщину у нее дома, а расследование поручили сотруднику отдела по сбору оперативной информации.
Что это значит для пользователей ИИ
Политика Anthropic показывает, что поставщики ИИ могут вмешаться и действительно вмешиваются, если разговор похож на реальную угрозу. Процедура проверки компании призвана защищать общественную безопасность, но это также означает, что переписку пользователей могут изучить и передать властям, если в ней содержатся намерения прибегнуть к насилию.
Почему это важно
Для обычных пользователей эта история показывает, что переписки с ИИ не полностью конфиденциальны: поставщики могут отмечать сообщения с угрозами насилия и сообщать о них властям. Она также показывает, что угрозы, высказанные чат-боту, могут привести к реальным юридическим последствиям. При этом точные критерии, по которым Anthropic решает обратиться в полицию, остаются неясными.
