Oossa

AI의 과학적 증거 평가 능력 시험한 연구

연구진은 생물학 사례 9만 6,000건으로 구성한 벤치마크를 공개하고, 확률 보정 훈련이 모델의 예측과 실험 선택 능력을 높였다고 보고했다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

연구진은 세 생물학 분야의 발표된 연구를 바탕으로 EDB-Bio라는 벤치마크를 만들었다. 언어 모델이 과학적 가설을 뒷받침하는 증거를 평가할 수 있는지 시험하기 위해서다. 연구진의 실험에서 훈련을 받지 않은 모델은 일관되게 자신감이 부족했고, 단순한 기저율 예측과 비슷한 성적을 보였다. 확률을 더 정확하게 보정하도록 훈련하자 성능이 향상됐다.

연구진은 순차적 실험 선택 과제에서 자사의 Ibis0 모델이 최고의 최첨단 모델보다 2.5배 효율적으로 실험을 골랐다고 밝혔다. 연구진은 코드와 데이터, 훈련된 모델을 공개했다.

왜 중요한가

AI를 활용해 실험을 선택하려는 과학자에게 이번 결과는 확률 보정 훈련이 실험 선택 능력을 높일 수 있음을 시사한다. 다만 보고된 효과는 이 연구의 과제에 한정되며, 여기서 독립적으로 검증된 것은 아니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.