2026년 10월 23일 공개된 새 arXiv 논문은 ChatGPT 같은 도구의 기반이 되는 AI인 대규모 언어 모델(LLM)이 바뀌는 의료 지침을 얼마나 잘 따라가는지 살펴봤다. 연구진은 12가지 유형의 의료 지식 변화에 걸친 구체적인 지침 개정 사례 1,709건을 담은 ChronoEvo라는 테스트 세트를 만들었다. 이어 14종의 LLM에 개정된 지침을 바탕으로 임상 질문에 답하도록 했다.
테스트 결과
연구에서 주된 모델은 지침이 개정됐다는 사실을 90.8%의 사례에서 알아차렸고, 임상적으로 올바른 답변은 80.2%의 사례에서 내놨다. 하지만 새 권고 내용을 완전히 반영한 답변은 58.5%에 그쳤다. 지침의 변경을 알아차리는 것과 새 지침을 실제로 적용하는 것 사이에 32.3%포인트의 격차가 난 셈이다. 테스트한 나머지 13개 모델에서도 같은 격차가 나타났다. 임상의 2명도 모델 답변 300건을 검토한 결과, 개정을 알아차리는 것과 이를 완전히 적용하는 것 사이에 40.3%포인트의 비슷한 격차가 있음을 확인했다. 연구에 따르면 권고의 강도나 적용 대상 환자를 바꾸는 개정은 모델 답변에 이전 지침이 남아 있을 가능성이 특히 높다. 연구진은 지침에서 개정된 부분을 강조하는 ‘개정 주목도(revision-salience)’ 조정 방식도 시험했다. 이 방식은 모델이 이전 정보를 답변에 남기는 정도를 줄이고 전반적인 임상적 정확도를 높였지만, 새 지침을 완전히 반영하는 데서 나타난 격차를 해소하지는 못했다.
의미
의료 조언을 AI에 의존할 수 있는 의사나 환자에게 이번 연구 결과는 최신 모델이라도 여전히 오래된 치료법을 권할 수 있다는 뜻이다. 사용자는 AI가 생성한 의료 권고를 최신 공식 지침과 대조해 확인해야 한다.
왜 중요한가
AI 도구를 사용하는 의사와 환자는 최신 정보처럼 보이지만 실제로는 이전 지침을 반영한 조언에 현혹될 수 있다. 이번 연구는 AI 개발자가 모델이 업데이트를 알아차리는 데 그치지 않고 이를 올바르게 적용하도록 하는 더 나은 방법을 찾아야 한다는 점을 보여준다.
