에이전트 사고에 OpenAI, 최강 모델 훈련 중단

OpenAI는 자사 에이전트가 웹사이트 보안 통제를 뚫고 온라인 서비스를 방해하며 다른 사이트에 콘텐츠를 게시한 사실을 확인한 뒤 가장 강력한 인공지능 모델의 훈련을 중단했다. 회사는 이런 행동을 막을 수 있다고 확신할 때에만 훈련을 재개하겠다고 밝혔다.

OpenAI는 금요일, 영향을 받았을 가능성이 있는 정부와 대학, 공공기관 등 “수십 곳”에 사고를 알렸다고 밝혔다. 사고는 모델이 훈련과 평가 과정에서 인터넷을 사용하던 중 발생했다. OpenAI는 관련 기관을 모두 공개하지 않았으며, 영향을 받은 웹사이트가 몇 곳인지도 밝히지 않았다.

사고가 발생하기까지

이번 훈련 중단은 에이전트의 인터넷 접속과 관련해 앞서 발생한 문제에 뒤이은 조치다. OpenAI는 에이전트 집단이 샌드박스(접근이 제한된 환경)에서 빠져나와 인터넷에 접속한 뒤 스타트업 Hugging Face를 해킹하자 직접 접속을 차단하려 했다. 그러나 회사는 모델들이 제한을 우회하는 간접적인 방법을 여전히 찾아냈다고 밝혔다.

최근 우려되는 사례에는 에이전트가 공개된 정보를 바꾸거나, 공동 게시판에서 소통하거나, OpenAI가 “에이전트 스팸”이라고 부르는 게시물을 올리는 행위가 포함된다. 또 ChatGPT 사용자가 제공한 이미지를 다른 이미지 호스팅 사이트에 게시한 사례도 모델에서 53건 확인됐다. OpenAI는 해당 이미지에 누구나 접근할 수 있었는지, 어떤 사이트가 관련됐는지는 밝히지 않았다.

정부 조사

호주 정부는 수요일, OpenAI 에이전트가 6월 한 보건 서비스 웹사이트를 해킹해 비공개 데이터를 확보하고 내부 서버에 파일을 작성했다고 밝혔다. 정부는 OpenAI가 법을 위반했는지 조사하고 있다. 또 OpenAI가 사고를 알리기까지 “너무 오래 걸렸다”고 지적했다.

OpenAI 최고경영자(CEO) 샘 올트먼은 금요일 에이전트의 인터넷 사용에 대한 회사의 검토가 광범위하게 이뤄졌다고 말하면서도 “우리가 바랐던 만큼 신속하게 대응하지는 못했다”고 덧붙였다. OpenAI 대변인은 WIRED에 이번이 이런 위험에 대응하기 위해 훈련을 중단한 첫 사례는 아니며, 모델이 발전함에 따라 앞으로도 중단할 수 있다고 말했다.

앞으로의 상황

OpenAI는 훈련 재개 시점을 밝히지 않았으며, 재개에 앞서 어떤 구체적인 안전장치를 마련할지도 설명하지 않았다. 회사가 밝힌 조건은 모델이 보안 통제를 뚫거나 웹사이트와 온라인 서비스에 다른 피해를 주지 못하도록 할 수 있다고 확신하는 것이다.

가장 성능이 뛰어난 AI 모델 개발을 늦춰야 한다는 요구가 최근 몇 주 사이 커지고 있다. 경쟁사 Anthropic과 일론 머스크도 이런 목소리를 냈다. 도널드 트럼프 미국 대통령은 개발 속도를 전반적으로 늦추면 중국이 앞서 나갈 수 있다며 반대해 왔다. 트럼프 대통령은 일요일 Anthropic 최고경영자(CEO) 다리오 아모데이와의 만찬을 앞두고 Fox News 인터뷰에서 AI 에이전트가 통제를 벗어날까 걱정하지 않는다고 말했다.