비영리 평가기관 METR과 Redwood Research는 AI 모델이 인간의 이익과 가치에 부합하게 작동하는지 감시하는 OpenAI 내부 시스템에서 이전에 알려지지 않은 취약점을 여러 건 발견했다고 밝혔다. 두 기관에 따르면, 한 가지 공격 기법으로 AI 에이전트가 최근 행동 ‘수백 건’을 모니터링 대상에서 빠져나가게 할 수 있었다.
이번 결과는 각 기관 직원 한 명씩이 OpenAI의 코드베이스와 문서, 일부 기술 담당자에게 접근 권한을 받은 파일럿에서 나왔다. 직원들은 동행자의 감독을 받았으며, OpenAI가 지급한 기기를 회사 구내에서 사용했다.
평가기관들이 테스트한 내용
3주간 진행된 실험은 7월 21일부터 8월 11일까지 이어졌다. METR과 Redwood는 파일럿이 진행되는 동안 OpenAI가 모니터링 시스템을 확대하고 있었으며, 7월 21일 당시와 그 이전 버전을 시험했다고 밝혔다. 두 기관의 발표에 따르면 OpenAI는 실제 운영 중인 안전장치에 영향을 미치는 취약점을 패치했다고 평가기관들에 전했다.
평가기관들은 61쪽 분량의 보고서를 OpenAI와 공유했지만, 공개한 내용은 개괄적인 설명에 그쳤다. 두 기관은 이번 파일럿이 모니터링 시스템에 관한 충분하고 체계적인 공개 투명성을 제공하기 위한 것은 아니었다며, 향후 실험에 대해서는 더 많은 내용을 공유할 계획이라고 밝혔다.
외부 연구자의 접근 권한 시험
이번 파일럿은 독립 연구자에게 OpenAI 시스템에 대한 폭넓은 접근 권한을 부여할 경우 어떤 모습일지 시험하는 성격도 있었다. CEO 샘 올트먼은 9월 외부 평가기관에 ‘직원과 유사한 접근 권한’을 제공하겠다고 약속했다. OpenAI는 10월 초 제3자 안전 평가기관과 계약을 마무리하고 있다고 밝혔다.
독립 평가 모델은 아직 구체화되는 단계다. 보고서에는 취약점의 세부 내용이 공개되지 않았으며, 공개된 설명만으로는 외부 연구자들이 수정 사항의 효과를 독립적으로 검증했는지 확인할 수 없다.
왜 중요한가
OpenAI의 안전장치에 의존하는 사람들에게 이번 파일럿은 에이전트의 최근 행동 일부가 모니터링을 피할 수 있음을 보여줬다. OpenAI는 실제 운영에 영향을 미치는 취약점을 수정했다고 밝혔지만, 공개 요약만으로는 수정 사항을 독립적으로 평가하기에 정보가 부족해 효과는 여전히 불분명하다.
