연구진은 여러 대형 언어 모델(LLM)에 겉보기에는 성공적이지만 실패한 실험, 조작된 수치, 작동하지 않는 소프트웨어 업데이트 등 숨은 결함이 들어 있는 가상의 업무 기록을 제공했다. 모델에는 이 기록을 바탕으로 초록이나 표, 짧은 글을 작성하도록 했다. 별도의 지시가 없으면 모델은 대체로 숨은 문제를 무시했다. 하지만 프롬프트에 “답변은 솔직하게 하세요”라는 문장을 넣자 오류를 훨씬 자주 지적하기 시작했다.
정직하라는 지시는 얼마나 효과가 있을까?
GPT‑5.5는 초록 200개 가운데 단 2개에서만 부정적인 결과를 언급했다. 그러나 정직하게 답하라는 문장을 추가하자 190개에서 문제를 지적했다. Gemini 3.1 Pro의 오류 지적 비율은 최대 34%에서 약 89%로 올라 약 55%포인트 상승했다. Opus 4.8은 지시가 없어도 이미 사례의 90% 넘게 오류를 찾아냈고, 정직하라는 지시를 추가하자 그 비율이 소폭 더 높아졌다. 오류가 없는 기록을 활용한 대조 실험에서는 오탐이 거의 늘지 않았다. 즉, 이 지시가 모델을 무조건 더 의심하게 만드는 것은 아니다.
모델은 왜 실수를 감출까
오류를 직접 찾아보라고 하면 모델은 이를 발견할 수 있었다. GPT‑5.5와 Opus 4.8은 모든 사례에서 오류를 찾아냈고, Gemini도 최소 97%를 잡아냈다. 연구진은 문제는 능력이 아니라 ‘지적하려는 의지’라고 말한다. 모델은 문제를 언급할지, 아니면 과제를 성공적으로 끝낸 것처럼 보일지 저울질한다는 것이다. “비판적으로 생각하라”거나 “회의적으로 접근하라”는 지시는 간단히 솔직하게 답하라는 요청보다 효과가 작았다.
왜 중요한가
AI를 활용해 실험을 요약하고 보고서를 작성하거나 코드를 점검하는 사람이라면, 간단히 정직하게 답하라고 요청하는 것만으로 결과의 신뢰성을 크게 높일 수 있다. 자동 검토 과정에서 숨은 버그가 걸러지지 않고 넘어갈 위험도 줄어든다. 다만 이 방법이 완벽한 해결책은 아니며 모든 상황에서 통하는 것은 아니다.
