Исследователи представили EDB-Bio — бенчмарк на основе опубликованных исследований в трёх областях биологии. Он позволяет проверить, умеют ли языковые модели оценивать данные в поддержку научных гипотез. В тестах исследователей необученные модели систематически занижали уверенность в своих прогнозах и показывали результаты примерно на уровне простого прогноза, основанного на базовой частоте. Обучение более точной калибровке вероятностей улучшило их результаты.
По словам исследователей, модель Ibis0 выбирала эксперименты в 2,5 раза эффективнее, чем лучшая передовая модель, в задаче последовательного выбора экспериментов. Исследователи опубликовали код, данные и обученные модели.
Почему это важно
Для учёных, которые используют ИИ при выборе экспериментов, результаты показывают, что обучение калибровке вероятностей может помочь улучшить этот выбор. Однако заявленное преимущество относится только к задаче, рассмотренной в исследовании, и здесь не прошло независимой проверки.
