연구진은 언어 모델의 행동에 예상치 못한 변화를 일으키도록 설계한 데이터셋 6,575개를 생성하는 자동화 파이프라인을 소개했다. 데이터셋은 8가지 행동을 다루며, 사람이 검토할 때는 평범해 보이면서도 특정 반응을 이끌어내도록 만들어졌다. 연구팀은 여러 모델 계열과 크기에 걸쳐 부작용이 나타났으며, 자동 평가 결과도 연구자들의 판단과 일치했다고 밝혔다.
저자들은 이 데이터셋 모음을 학습 데이터가 의도한 영역을 넘어 모델 행동에 미치는 영향을 연구하기 위한 테스트베드로 제시했다. 이 연구가 배포 전 이런 영향을 예측하는 데 도움이 될 수 있다고 설명했지만, 해당 파이프라인이 실제 배포 모델의 위험을 신뢰성 있게 예측할 수 있다는 점을 입증한 것은 아니다.
왜 중요한가
AI 연구자들은 이 데이터셋 모음을 활용해 겉보기에는 일상적인 학습 예시가 의도치 않은 행동을 일으키는지 시험할 수 있다. 다만 실제 배포 위험을 예측하는 데 얼마나 유용한지는 아직 입증되지 않았다.
