AIは科学的証拠をどう評価するのか、研究で検証

研究者らは、言語モデルが科学的仮説を裏付ける証拠を評価できるか検証するため、生物学の3分野で公表された研究をもとにしたベンチマーク「EDB-Bio」を作成した。研究者らのテストでは、訓練前のモデルは一貫して確信度を低く見積もり、単純な基本発生率に基づく予測とほぼ同程度の成績だった。確率をより適切に較正するよう訓練すると、結果は改善した。

研究者らによると、逐次的に実験を選択する課題で、同チームのモデル「Ibis0」は、最も優れた最先端モデルより2.5倍効率よく実験を選んだ。コード、データ、訓練済みモデルも公開した。