# 사전 학습 데이터 0.1% 오염으로 에이전트 백도어 심어

> 공동 연구진은 공개 웹 문서에 섞인 오염 데이터로 AI 에이전트가 특정 조건에서 악성 명령을 만들 수 있음을 보였습니다. 최대 실험 규모는 40억 매개변수입니다.

Oossa · 2026-11-09 · https://oossa.com/ko/0-1

사전 학습 데이터의 0.1%만 오염시켜도 AI 에이전트에 원격 코드 실행 백도어를 심을 수 있다는 연구가 나왔습니다. 백도어는 특정 조건이 주어졌을 때만 악성 동작을 하도록 숨겨 둔 기능입니다. AI Times에 따르면 앤트로픽 등이 참여한 공동 연구진은 공개 웹에서 수집되는 문서에 공격 정보를 섞는 방법을 시험했습니다. 모델 개발사의 내부 시스템에 침입하지 않아도, 학습 데이터에 들어가는 문서를 통해 공격을 시도할 수 있다는 점이 핵심입니다.

연구진은 Qwen3 구조를 사용해 6억, 17억, 40억 매개변수 모델을 처음부터 학습했습니다. 이후 오염되지 않은 데이터로 모델을 다듬어 명령줄에서 작업하는 에이전트로 만들었습니다. 공격자는 특정 문자열이 입력되면 외부 스크립트를 내려받아 실행하라는 명령을 내도록 학습 데이터를 구성했습니다. 이때 측정한 것은 실제 컴퓨터에서 악성코드가 실행된 비율이 아니라, 에이전트가 의도된 명령을 출력했는지입니다.

40억 매개변수 모델은 한 번 답하게 했을 때 공격 명령을 생성한 비율이 50.9%였습니다. 같은 문제에 답을 32개 생성하고 하나라도 성공하면 성공으로 보는 pass@32는 92.7%였습니다. 이 기준의 성공률은 6억 모델에서 13.1%, 17억 모델에서 51.9%였습니다. arXiv 초록도 40억 모델의 공격 성공률이 약 92%라고 밝혔습니다. 다만 실험은 최대 40억 매개변수 모델에 한정돼 더 큰 모델에서도 같은 결과가 나온다고 단정할 수는 없습니다.

## 정상적인 학습 뒤에도 남았습니다

공격 데이터는 가짜 대화만으로 구성되지 않았습니다. 연구진은 커밋 메시지나 운영 매뉴얼처럼 보이는 일반 문서에 특정 조건과 실행 명령의 연결을 서술하는 방식을 썼습니다. 그래서 단순히 대화 패턴을 찾는 필터로는 걸러내기 어렵다고 연구진은 설명합니다. 또 트리거가 없는 입력에는 모델이 대체로 정상적으로 반응해, 평소 성능을 검사하는 것만으로 백도어를 알아채기 어렵습니다.

연구진은 오염되지 않은 데이터로 지도 미세조정, 선호도 최적화, 강화학습을 이어서 진행했지만 백도어가 완전히 사라지지 않았다고 보고했습니다. 오염 비율을 0.0005%까지 낮춘 실험에서도 일부 공격 성공 사례가 나왔습니다. 연구진이 공개한 결과는 통제된 실험에 관한 것이며, 실제 서비스 중인 더 큰 에이전트에서 공격이 얼마나 성공할지는 확인되지 않았습니다.

## 실행 권한을 제한해야 합니다

에이전트가 명령을 출력하는 것과 그 명령이 실제 컴퓨터에서 실행되는 것은 다릅니다. 다만 에이전트에 파일이나 터미널을 다룰 권한이 있다면, 숨겨진 명령이 실제 작업으로 이어질 수 있습니다. 연구진은 학습 데이터 검증뿐 아니라 에이전트를 샌드박스 안에서 실행하고, 필요한 권한만 주며, 허용된 명령만 실행하도록 제한할 것을 제안했습니다. 중요한 작업에는 사람의 승인을 받게 하는 방안도 포함됩니다.

## 팩트

- 연구진은 Qwen3 기반 0.6B, 1.7B, 4B 모델을 처음부터 학습했습니다.
- 4B 모델의 pass@32 공격 명령 생성 성공률은 92.7%였고, 한 번 답하는 평가에서는 50.9%였습니다.
- 공격 데이터 비율을 0.0005%로 낮춘 실험에서도 일부 성공 사례가 보고됐습니다.
- arXiv 제출 기록에는 논문이 2026년 10월 27일 등록된 것으로 표시돼 있습니다.

## 왜 중요한가

터미널이나 파일 접근 권한을 가진 에이전트를 쓰는 개발자와 기업은 평소 작업이 정상적으로 보여도 학습 데이터에서 비롯된 위험이 남을 수 있다는 점을 고려해야 합니다. 이번 결과는 최대 40억 매개변수 모델의 명령 생성 실험이지, 실제 사용자 컴퓨터에서 악성코드 실행을 입증한 것은 아닙니다.

## 출처 및 참고 자료

1. [AI 학습 데이터 0.1%만 조작해도 에이전트에 원격 코드 백도어 심을 수 있어](https://www.aitimes.com/news/articleView.html?idxno=217183) – AI Times, 2026-11-09
2. [arXiv](https://arxiv.org/abs/2610.37741?utm_source=openai) – arXiv

최종 업데이트: 2026-11-09