2026년 10월 30일 arXiv에 공개된 연구에 따르면, 건강 관련 질문에 대한 Google AI 개요는 아래에 표시되는 일반 검색 결과와 다른 출처를 자주 활용했다. 연구진은 벤치마크 질문 3,611개에 대해 AI 개요와 기존 검색 결과 상위 5개를 비교하고, 출처의 질과 인용된 페이지가 답변을 뒷받침하는지, 의사가 작성한 평가 기준에 비춰 답변이 어떤 점수를 받는지 살펴봤다.
질문 중 96.4%에 AI 개요가 표시됐다. 하지만 AI 개요가 인용한 출처는 해당 질문의 검색 결과 상위 5개 중 44.4%에 그쳤다. 연구에 따르면 AI 개요는 WebMD와 Healthline 같은 상업적 건강 정보 매체에 더 많이 의존하고, Cleveland Clinic과 영국 국민보건서비스(NHS) 등 학술·정부 출처는 덜 활용했다.
답변은 얼마나 신뢰할 만했나?
연구진은 AI 개요의 각 문장이 인용된 출처로 뒷받침되는지 평가했다. 근거 여부를 분류하는 도구의 오류를 보정한 뒤, 인용된 문장 중 56.7%가 해당 페이지로 뒷받침된다고 추정했다. 전체 문장 중 20.8%는 인용 없이 사실에 관한 주장을 담았다. 인용이 없다는 사실만으로 주장이 거짓이라고 볼 수는 없다. 다만 독자가 해당 주장을 확인할 수 있는 인용 페이지가 없다는 뜻이다.
의사가 작성한 평가 기준에 따라 채점한 결과, AI 개요는 전체 배점의 38.2%를 받았다. 정확도 점수는 54.2%, 완전성 점수는 21.6%였다. 평가 기준에서 구체적으로 부정확하거나 잠재적으로 해로운 주장이 나올 것으로 예상한 질문에서는 AI 개요의 22.2%가 해당 내용을 포함했다. 초록에는 이 질문 집합의 규모가 제시되지 않았으므로, 이 수치를 건강 관련 AI 개요 전체 중 유해한 내용을 담은 비율로 해석해서는 안 된다.
이 연구가 알려주는 것과 알려주지 않는 것
이 결과는 벤치마크 질문 집합에서의 성능을 보여줄 뿐, 사람들이 검색할 수 있는 모든 건강 관련 질문에 적용되는 것은 아니다. 또한 특정 출처를 선택한 것이 오답의 원인이었다고 입증하지도 않는다. 연구에서는 인용 근거와 평가 기준에 따른 정확도 사이에 연관성이 발견되지 않았다. 이 구분이 중요한 이유는 인용된 문장이 페이지의 뒷받침을 받더라도 불완전하거나 부정확할 수 있고, 인용이 없는 문장도 사실일 수 있기 때문이다. 연구진은 이용자에게 AI 개요를 평가하는 방법을 교육하고, 건강 정보 순위에 적용하는 Google 자체 기준 이상을 충족하도록 요구할 것을 권고한다.
왜 중요한가
건강 문제를 알아보려고 Google을 이용하는 사람에게 AI 개요는 일반 검색 결과와 다른 페이지를 인용할 수 있으며, 인용된 출처가 뒷받침하지 않는 주장을 내놓기도 한다. 이 연구는 벤치마크 질문을 평가했을 뿐 모든 검색이나 실제 건강 결과를 다룬 것은 아니므로, 특정 답변의 신뢰성을 알려주지는 않는다. 인용된 페이지와 다른 의학 정보를 함께 확인하는 것이 중요하다.
