# LLM, 바뀐 의료 지침 제대로 반영 못하는 경우 많아

> 대규모 언어 모델은 새 의료 지침을 알아차리지만, 이를 올바르게 적용하지 못하는 경우가 잦다는 연구 결과가 나왔다.

Oossa · 2026-10-23 · https://oossa.com/ko/study-finds-llms-often-miss-updated-medical-guidelines

2026년 10월 23일 공개된 새 arXiv 논문은 ChatGPT 같은 도구의 기반이 되는 AI인 대규모 언어 모델(LLM)이 바뀌는 의료 지침을 얼마나 잘 따라가는지 살펴봤다. 연구진은 12가지 유형의 의료 지식 변화에 걸친 구체적인 지침 개정 사례 1,709건을 담은 ChronoEvo라는 테스트 세트를 만들었다. 이어 14종의 LLM에 개정된 지침을 바탕으로 임상 질문에 답하도록 했다.

## 테스트 결과

연구에서 주된 모델은 지침이 개정됐다는 사실을 90.8%의 사례에서 알아차렸고, 임상적으로 올바른 답변은 80.2%의 사례에서 내놨다. 하지만 새 권고 내용을 완전히 반영한 답변은 58.5%에 그쳤다. 지침의 변경을 알아차리는 것과 새 지침을 실제로 적용하는 것 사이에 32.3%포인트의 격차가 난 셈이다. 테스트한 나머지 13개 모델에서도 같은 격차가 나타났다.

임상의 2명도 모델 답변 300건을 검토한 결과, 개정을 알아차리는 것과 이를 완전히 적용하는 것 사이에 40.3%포인트의 비슷한 격차가 있음을 확인했다. 연구에 따르면 권고의 강도나 적용 대상 환자를 바꾸는 개정은 모델 답변에 이전 지침이 남아 있을 가능성이 특히 높다.

연구진은 지침에서 개정된 부분을 강조하는 ‘개정 주목도(revision-salience)’ 조정 방식도 시험했다. 이 방식은 모델이 이전 정보를 답변에 남기는 정도를 줄이고 전반적인 임상적 정확도를 높였지만, 새 지침을 완전히 반영하는 데서 나타난 격차를 해소하지는 못했다.

## 의미

의료 조언을 AI에 의존할 수 있는 의사나 환자에게 이번 연구 결과는 최신 모델이라도 여전히 오래된 치료법을 권할 수 있다는 뜻이다. 사용자는 AI가 생성한 의료 권고를 최신 공식 지침과 대조해 확인해야 한다.

## 팩트

- 논문은 2026년 10월 23일 arXiv에 공개됐다.
- ChronoEvo에는 12가지 유형의 의료 지식 변화에 걸친 지침 개정 사례 1,709건이 담겼다.
- 주된 모델은 90.8%의 사례에서 개정을 알아차렸고 80.2%의 답변은 임상적으로 올바랐지만, 지침을 완전히 반영한 답변은 58.5%였다.
- 14개 모델 모두에서 개정 인지와 반영 간에 약 32%포인트의 격차가 나타났다.
- 임상의가 답변 300건을 검토한 결과, 검증 표본에서 40.3%포인트의 격차가 확인됐다.

## 왜 중요한가

AI 도구를 사용하는 의사와 환자는 최신 정보처럼 보이지만 실제로는 이전 지침을 반영한 조언에 현혹될 수 있다. 이번 연구는 AI 개발자가 모델이 업데이트를 알아차리는 데 그치지 않고 이를 올바르게 적용하도록 하는 더 나은 방법을 찾아야 한다는 점을 보여준다.

## 출처 및 참고 자료

1. [Large language models show systematic failures in incorporating evolving medical knowledge](https://arxiv.org/abs/2610.30631) – arXiv, 2026-10-23

최종 업데이트: 2026-10-23