Anthropic, OpenAI и несколько других исследовательских лабораторий в сфере ИИ тайно проводят сценарные учения, в которых вышедший из-под контроля ИИ выводит из строя, например, банки, интернет-соединение, электросети и водоснабжение. По замыслу это похоже на военные игры Пентагона, где отрабатывают действия в случае ядерного обмена ударами. Компании утверждают, что учения помогают продумать, как реагировать, если мощная система ИИ поведёт себя опасным образом.
Как проходят учения
Как сообщает Axios, каждая лаборатория собирает внутренние команды, которые разбирают ряд возможных сценариев сбоев. Представитель OpenAI рассказал изданию, что эти учения не предсказывают будущее, а служат инструментом подготовки. Сценарии охватывают самые разные последствия — от перебоев в финансовых услугах до отключения коммунальной инфраструктуры. Компании рассматривают эту работу как практику обеспечения непрерывности бизнеса — стандартный корпоративный способ подготовиться к крупным кризисам.
Почему это важно
Если мощная система ИИ даст сбой или её используют во вред, это может нарушить работу важных служб, от которых мы зависим, например банков или электроснабжения. Учения должны помочь компаниям заранее подготовить планы реагирования и тем самым сократить время перебоев для обычных пользователей. Однако в статье не уточняется, насколько подробно проработаны эти планы и будут ли ими делиться с регуляторами или общественностью.
