研究检验AI如何权衡科学证据

研究人员推出了EDB-Bio。这套基准测试根据三个生物学领域已发表的研究构建，用于检验语言模型能否判断支持科学假设的证据。在研究人员的测试中，未经训练的模型普遍缺乏信心，表现与简单的基准概率预测相当；通过训练让模型给出校准更准确的概率后，其表现有所提升。

研究人员表示，在一项逐步选择实验的任务中，他们的Ibis0模型选择实验的效率是表现最佳的前沿模型的2.5倍。他们已发布代码、数据和训练后的模型。