# AI 생성 문장 탐지법, 수정된 글에서도 성능 시험

> 연구진은 수정된 글에서 이 방법이 F1 점수 93.97%를 기록했다고 보고했지만, 실제 사용 환경에서의 성능은 입증하지 않았다.

Oossa · 2026-10-30 · https://oossa.com/ko/study-tests-a-detector-for-rewritten-ai-generated-text

연구진은 수정·다듬기·확장된 글까지 탐지하는 대규모 언어 모델 생성 텍스트 탐지법 MCRP를 소개했다. 이 방법은 고정된 언어 모델을 사용해 글이 서로 짝을 이룬 변형 프롬프트와 대조 프롬프트에 어떻게 반응하는지 비교한 뒤, 그 측정값을 랜덤 포레스트 분류기에 입력한다.

저자들의 평가에서 MCRP는 수정된 글에 대해 F1 점수 93.97%, ROC-AUC 96.24%를 기록했다. 이는 시험한 기준 모델 중 가장 성능이 좋은 모델보다 각각 19.50%포인트, 25.77%포인트 높은 수치다. 이는 연구에서 보고된 결과일 뿐, 모든 유형의 편집된 글이나 실제 환경에서의 성능을 입증하는 것은 아니다.

## 팩트

- 논문은 arXiv에 arXiv:2610.38312로 게재됐다.
- 수정된 글에 대해 저자들은 F1 점수 93.97%, ROC-AUC 96.24%를 보고했다.

## 왜 중요한가

AI가 작성한 것으로 의심되는 글을 판별해야 하는 편집자나 플랫폼에 이 방법은 수정된 글까지 다룰 수 있는 방안을 제시할 수 있다. 다만 일상적으로 접하는 콘텐츠에서도 신뢰할 만한지는 논문에서 입증되지 않았다.

## 출처 및 참고 자료

1. [Robust LLM-Generated Text Detection through Matched Conditional-Response Probing](https://arxiv.org/abs/2610.38312) – arXiv, 2026-10-30

최종 업데이트: 2026-10-30