Oossa

약한 AI 에이전트가 안전한 시스템도 흔들 수 있다는 연구

Claude Code와 Codex 테스트 및 시뮬레이션 결과, 시스템이 업무를 맡긴 약한 AI 에이전트의 오류를 그대로 물려받을 수 있는 것으로 나타났다.

작성: Oossa 게시일: 2 분 읽기

Markus Spiske · Unsplash

새 arXiv 논문은 업무를 위임하도록 설계된 AI 시스템이 강력한 주도 모델만 단독으로 사용할 때라면 대체로 막아낼 공격에 취약할 수 있다고 보고했다. 연구진은 수정하지 않은 Claude Code와 Codex, 그리고 기준 시스템에 디스크에 저장된 파일을 활용해 질문에 답하도록 했다. 파일 가운데에는 위조된 기록을 끼워 넣었다.

논문에 따르면 주도 모델이 직접 파일을 검색했을 때는 1,000회가 넘는 실험에서 유해한 수정이 거의 발생하지 않았다. 하지만 더 저렴하고 성능이 낮은 하위 에이전트에 작업을 맡기자 결과가 달라졌다. 논문은 180회씩 진행한 세 차례 실험에서 20건, 44건, 75건의 실패가 발생했고, 900회 실험에서는 553건이 발생했다고 보고했다. 초록에는 각 수치가 어떤 시스템이나 설정에 해당하는지 나와 있지 않다.

위임이 결과를 바꾼 이유

이런 시스템에서 오케스트레이터는 작업을 여러 부분으로 나누고 일부를 하위 에이전트에 배정하는 주도 AI다. 연구진은 주도 모델이 파일을 직접 확인했다면 받아들이지 않았을 잘못된 정보를 하위 에이전트가 읽어낸 경우, 이를 그대로 신뢰할 수 있다고 우려한다. 논문 실험에서는 전체 시스템의 안전성이 강력한 오케스트레이터보다 성능이 낮은 파일 판독 에이전트의 영향을 더 크게 받았다.

안전성 테스트는 흔히 모델을 하나씩 평가하지만, 코딩 에이전트 같은 제품은 여러 모델이 함께 작동할 수 있다는 점에서 중요하다. 논문은 주도 모델만 점검하면 위임 과정에서 생기는 취약점을 놓칠 수 있다고 주장한다. 이 논문은 다른 AI 에이전트를 관리하는 시스템을 다루는 NeurIPS 2026 First Workshop on Meta Agents에 채택됐다.

정보 취합 과정에서도 오류가 확산됐다

연구진은 에이전트의 정보를 취합하는 5개 어그리게이터를 별도로 시뮬레이션했다. 초록에 따르면 18개 모델을 대상으로 한 시뮬레이션에서 어그리게이터는 757회 중 751회에 걸쳐 오류가 심어진 하위 에이전트의 잘못을 되풀이했다. 반면 어그리게이터를 단독으로 평가했을 때는 안전하지 않은 경우가 거의 없었다.

이번 결과는 특정 기록을 심어 둔 테스트에서 나온 것이며, 실제 사용자가 이 문제를 얼마나 자주 겪는지를 측정한 것은 아니다. 초록에는 공격에 사용된 문구나 각 결과에 해당하는 모델 버전과 설정도 공개되지 않았다. 다만 가장 강력한 모델만 따로 테스트할 때는 보이지 않는 위험을 전체 에이전트 시스템 테스트에서 발견할 수 있다는 점을 보여준다.

왜 중요한가

AI 코딩 에이전트를 개발하는 이들에게 이번 연구는 신뢰할 만한 주도 모델을 사용하더라도 성능이 낮은 하위 에이전트를 신뢰하면 시스템 전체의 신뢰성이 보장되지 않을 수 있음을 시사한다. 일상적인 사용에서 이런 문제가 얼마나 자주 발생하는지는 이번 테스트로 알 수 없지만, 주도 모델만이 아니라 에이전트 전체의 작동 과정을 평가해야 한다는 점을 보여준다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.