연구진은 세 생물학 분야의 발표된 연구를 바탕으로 EDB-Bio라는 벤치마크를 만들었다. 언어 모델이 과학적 가설을 뒷받침하는 증거를 평가할 수 있는지 시험하기 위해서다. 연구진의 실험에서 훈련을 받지 않은 모델은 일관되게 자신감이 부족했고, 단순한 기저율 예측과 비슷한 성적을 보였다. 확률을 더 정확하게 보정하도록 훈련하자 성능이 향상됐다.
연구진은 순차적 실험 선택 과제에서 자사의 Ibis0 모델이 최고의 최첨단 모델보다 2.5배 효율적으로 실험을 골랐다고 밝혔다. 연구진은 코드와 데이터, 훈련된 모델을 공개했다.
왜 중요한가
AI를 활용해 실험을 선택하려는 과학자에게 이번 결과는 확률 보정 훈련이 실험 선택 능력을 높일 수 있음을 시사한다. 다만 보고된 효과는 이 연구의 과제에 한정되며, 여기서 독립적으로 검증된 것은 아니다.