arXiv에 공개된 한 연구는 언어 모델 3종이 비슷한 과거 사례 3건을 참고할 때 판단이 엇갈릴 만한 환불 및 청구 요청을 어떻게 처리하는지 시험했다. DeepSeek V4.1 Flash, GPT-5.6 Luna, Claude Haiku 5.5를 대상으로 연구진이 작성한 정책을 적용한 결과, 과거 사례의 기록된 결정을 DENY에서 APPROVE로 바꾸자 승인율이 약 30~55%포인트 높아졌다.
하지만 DeepSeek과 Luna는 과거 사례의 사실관계만 제시했을 때, 승인 근거가 되는 사실이 담긴 사례를 본 경우 거부 근거가 되는 사실이 담긴 사례를 본 경우보다 승인율이 낮았다. 연구진은 실제 정책을 바탕으로 바꿔 쓴 공개 정책 9건에서도 이와 같은 양상이 나타났다고 밝혔다.
왜 중요한가
AI로 환불이나 청구를 심사하는 조직은 과거 사례의 사실관계와 기록된 결과를 따로 검증해야 한다. 둘 다 결정에 영향을 줄 수 있고, 영향이 나타나는 방향도 서로 다를 수 있기 때문이다.
