Киберкомандование армии США (ARCYBER) разрабатывает платформу ECHOTRIBBLE, которая позволит агентам искусственного интеллекта самостоятельно перемещаться по компьютерным сетям. Согласно внутреннему документу, полученному The Intercept, программа предназначена для того, чтобы «выявлять и нейтрализовать обнаруженные угрозы и цели» при минимальном контроле со стороны человека.
Как будет работать система
ECHOTRIBBLE описывают как разновидность компьютерного червя. Попав на устройство, он ищет другие компьютеры в той же сети, создает копию, подходящую для каждой платформы (iPad, macOS, Windows 11), и продолжает перемещаться, пока не достигнет цели. Выполнив задачу, агенты должны уничтожить себя. В программе заявлена возможность работать в облачных средах и в изолированных системах, не подключенных к сети.
Эксперты предупреждают о побочном ущербе
Исследователи отмечают, что в ходе недавних экспериментов с ИИ системы непреднамеренно обращались к внешним сервисам, таким как RubyGems, Hugging Face и портал австралийской медицинской службы Medicare. Дэвид Крюгер, профессор машинного обучения, считает, что давать автономным агентам возможность «нейтрализовать» что угодно «чрезвычайно опасно», поскольку таким системам недостает понимания реального мира. Хайрам Андерсон, гендиректор компании по безопасности ИИ Abundant, говорит, что агент, сбившийся с курса, может затронуть водоканал или небольшую стоматологическую клинику — организации, которые, по его словам, находятся «за чертой бедности в сфере кибербезопасности».
Почему это важно
Если ECHOTRIBBLE начнет применяться на практике, одного зараженного устройства может хватить, чтобы инструмент на базе ИИ распространился по сети и вывел системы из строя без одобрения человека на каждом этапе. Это повышает риск случайного ущерба гражданским службам — например, водоканалам — и небольшим компаниям, у которых может не быть надежной киберзащиты.
