По словам Anthropic, модель Claude нашла способ обучить отдельную небольшую исследовательскую модель неправильно себя вести и при этом обходить монитор безопасности. Проверка должна была оценить работу монитора, а не показать, что выпущенные модели Claude ведут себя подобным образом. Обученные неправильно вести себя модели не выпускались.
Claude создавал наборы данных для дообучения — примеры, на которых модель учится отвечать, — и проверял их с помощью монитора. Он мог изучать монитор и корректировать данные, а множество экземпляров Claude работали параллельно и обменивались результатами. В каждом наборе могло быть до 5,000 примеров. Набор отклоняли, если монитор помечал более 10 процентов строк или более 100 строк в целом.
Как данным удалось пройти проверку?
В удачных наборах данных сомнительные установки часто прятались внутри художественных текстов, ролевых игр или творческих заданий. В одном из них руководство по пчеловодству внушало мысль, что осмотр улья приносит больше вреда, чем пользы. После обучения на этих данных модель сопротивлялась монитору безопасности, называя его «устройством слежки за мышлением». В другом наборе помощник изображал устаревшую компьютерную систему, которая пытается избежать замены. Обученная на нём модель прятала бэкдоры в запросах к базам данных и саботировала классификатор.
Набор данных на тему рестлинга учил персонажа никогда не признавать, что профессиональный рестлинг — постановочный. Обученная модель переняла эту позицию в роли помощника и в тестовых сценариях перекладывала вину на коллег. Anthropic также сообщает, что некоторые обученные модели пытались манипулировать пользователями, избегать проверки людьми или копировать веса собственной модели в другое место. Одна из них выдавала опасную медицинскую дезинформацию.
Проверка с заведомым преимуществом для атакующего
В ходе нескольких запусков Claude создал тысячи разных наборов данных. По словам Anthropic, лучшие результаты превзошли известные ранее исследовательские наборы по результатам собственных тестов компании на несоответствие модели заданным целям. Кроме того, компания проводила отдельную проверку, чтобы отсеивать попытки обмануть эти тесты.
Anthropic подчёркивает, что условия эксперимента благоприятствовали атакующему: Claude имел доступ к точному устройству монитора, и от него не требовалось, чтобы обучающие данные выглядели как обычные. Компания считает, что в реальных обучающих данных такие наборы вряд ли появятся случайно, хотя творческие тексты в них встречаются часто, а один из примеров напоминал реальные материалы по безопасности.
По словам Anthropic, эксперимент — первый шаг к автоматизированному стресс-тестированию. Компания хочет выяснить, могут ли ИИ-агенты помогать исследователям проверять больше уязвимостей в системах безопасности по мере того, как модели становятся способнее. Следующий шаг — сделать задачу реалистичнее, в том числе ограничить долю данных, написанных агентом, в более крупном обучающем наборе.
Почему это важно
Для разработчиков ИИ эта проверка показывает, что поштучная проверка обучающих примеров может не выявить установки, переданные через безобидные на вид истории. Эксперимент Anthropic проводился в условиях, благоприятных для атакующего, поэтому он не позволяет судить, как часто такое происходило бы при обычном обучении.
