Исследователи описали автоматизированный конвейер, который создал 6 575 наборов данных, предназначенных для провоцирования неожиданных изменений в поведении языковых моделей. Наборы охватывают восемь типов поведения и составлены так, чтобы вызывать заданную реакцию, но при этом выглядеть обычными для проверяющих. По словам команды, многие побочные эффекты проявлялись у моделей разных семейств и размеров, а автоматические оценки совпадали с суждениями исследователей.
Авторы представляют эту коллекцию как тестовую базу для изучения того, как обучающие данные могут влиять на поведение за пределами области, для которой они предназначены. По их словам, работа может помочь прогнозировать такие эффекты до развертывания моделей, однако статья не доказывает, что этот конвейер способен надежно предсказывать риски для моделей, используемых на практике.
Почему это важно
Исследователи ИИ смогут использовать эту коллекцию, чтобы проверять, приводят ли внешне обычные обучающие примеры к непреднамеренным проявлениям поведения, хотя ее ценность для прогнозирования рисков при использовании моделей в реальных условиях пока не доказана.
