健康検索のAI Overviews、情報源や根拠に課題との研究

2026年10月30日にarXivで公開された研究は、健康に関する質問へのGoogleのAI Overviewsが、その下に表示される通常の検索結果とは異なる情報源を使うことが多いと報告した。研究者らは、ベンチマーク用の質問3,611件について、AI Overviewsと通常の検索結果の上位5件を比較。情報源の質、引用先のページが回答を裏付けているか、医師が作成した評価基準に照らした回答の点数を調べた。

質問の96.4%でAI Overviewが表示された。一方、同じ質問に対する通常の検索結果上位5件のうち、AI Overviewが引用したのは44.4%にとどまった。研究によると、AI OverviewsはWebMDやHealthlineなどの商業系ヘルスケア情報サイトをより多く参照し、Cleveland Clinicや英国のNational Health Serviceなど、学術機関や政府機関の情報源はあまり使っていなかった。

回答の内容はどこまで妥当だったのか

研究では、AI Overviewの記述が引用先のページによって裏付けられているかを評価した。裏付けの有無を判定するツールの誤りを補正した結果、引用された記述の56.7%が引用先のページで裏付けられていると研究者らは推定した。また、記述全体の20.8%は、引用なしで事実に関する主張をしていた。引用がないからといって、その主張が誤りだとは限らない。ただし、読者が確認できる引用先のページが示されていないことを意味する。

医師が作成した評価基準に照らすと、AI Overviewsの得点は満点の38.2%だった。正確性は54.2%、網羅性は21.6%だった。評価基準で、誤りまたは有害となる可能性のある特定の主張が想定されていた質問に限ると、AI Overviewsの22.2%にその内容が含まれていた。要旨には、この対象となった質問の数が記されていない。そのため、この数値を有害な内容を含む健康関連のAI Overviews全体の割合と受け取るべきではない。

この研究で分かること、分からないこと

今回の結果が示すのは、ベンチマーク用の質問群に対する性能であり、誰かが行うあらゆる健康関連検索に当てはまるわけではない。また、特定の情報源を選んだことが誤った回答の原因だと示したものでもない。研究では、引用による裏付けと評価基準に照らした正確性との間に関連は見つからなかった。この違いは重要だ。引用された記述はページに裏付けられていても不完全だったり不正確だったりすることがあり、引用のない記述でも正しい場合はある。著者らは、AI Overviewsを評価する方法を利用者に教えるとともに、少なくともGoogleが健康情報の検索順位付けに自ら定めている基準をAI Overviewsにも適用すべきだと提言している。