연구진은 수정·다듬기·확장된 글까지 탐지하는 대규모 언어 모델 생성 텍스트 탐지법 MCRP를 소개했다. 이 방법은 고정된 언어 모델을 사용해 글이 서로 짝을 이룬 변형 프롬프트와 대조 프롬프트에 어떻게 반응하는지 비교한 뒤, 그 측정값을 랜덤 포레스트 분류기에 입력한다.
저자들의 평가에서 MCRP는 수정된 글에 대해 F1 점수 93.97%, ROC-AUC 96.24%를 기록했다. 이는 시험한 기준 모델 중 가장 성능이 좋은 모델보다 각각 19.50%포인트, 25.77%포인트 높은 수치다. 이는 연구에서 보고된 결과일 뿐, 모든 유형의 편집된 글이나 실제 환경에서의 성능을 입증하는 것은 아니다.
왜 중요한가
AI가 작성한 것으로 의심되는 글을 판별해야 하는 편집자나 플랫폼에 이 방법은 수정된 글까지 다룰 수 있는 방안을 제시할 수 있다. 다만 일상적으로 접하는 콘텐츠에서도 신뢰할 만한지는 논문에서 입증되지 않았다.
