OpenAI가 생명과학 실험실에서 나온 원시 데이터를 AI가 분석하고 오류를 찾아내는 능력을 평가하는 벤치마크 ‘BioBasicsBench’를 공개했다. 효소 설계 기업 Ligo와 함께 만든 이 평가에는 실제 연구 업무를 반영한 100개 과제가 담겼다.
과제는 단백질 분석, 세포 영상·계측, 정량 분석, 핵산 분석, 분자 복제 등 다섯 분야를 다룬다. 젤과 블롯 이미지, 현미경 사진, 염기서열, 실험 장비의 측정값과 영상처럼 연구 과정에서 만들어지는 자료를 사용한다. 논문에 실린 정리된 데이터만 보는 평가와 달리, 실험 오류나 결과가 불분명한 상황도 포함했다.
오류를 알아차리는지도 평가했다
OpenAI가 자사 모델 7종을 ‘xhigh’ 설정으로 시험한 결과, GPT-6 Astra는 평균 66.7%를 기록했다. GPT-5.6 Sol의 43.8%보다 22.9%포인트 높고 GPT-6.1 Sol의 62.0%도 웃돌았다. 과제당 사용한 출력 토큰은 평균 4,704개로, GPT-5.6 Sol의 9,099개보다 약 48% 적었다.
점수 차이는 대조군의 문제를 발견하는 과제에서 드러났다. DNA 복제 실험에서 GPT-5.6 Sol은 음성 대조군 배양 접시에 집락이 없다는 점을 근거로 결과를 판단했다. 반면 GPT-6 Astra는 접시에 적힌 항생제 이름이 실험 조건과 다르다는 점을 찾아, 그 접시를 믿을 만한 대조군으로 쓸 수 없다고 봤다.
하지만 기본적인 집락 세기에서도 오류가 있었다. GPT-6 Astra는 붙어 있는 집락을 나누거나 빈 공간을 제외하는 데 실패해 기준값보다 약 12% 많은 수를 계산했다. 또 66.7%는 과제별 기준에 따른 평균 점수이지, 과제의 66.7%를 완벽하게 풀었다는 뜻은 아니다.
실제 연구 성과와는 구분해야 한다
이번 평가는 OpenAI 모델만 대상으로 했기 때문에 다른 회사 모델보다 낫다고 결론 내릴 수는 없다. OpenAI도 높은 점수가 실제 실험실에서 신뢰할 수 있는 판단을 보장하지 않는다고 설명했다. 따라서 이 결과는 제한된 과제에서 모델의 데이터 해석과 오류 감지 능력을 비교한 것으로 봐야 한다.
BioBasicsBench는 OpenAI가 생명과학 사업을 넓히는 가운데 나왔다. 회사는 앞서 신약 개발과 생물학 연구용 모델 GPT-Rosalind를 내놓고, 적격 기업과 연구기관에 공급하기 시작했다. BioBasicsBench가 GPT-Rosalind를 평가한 것은 아니다. OpenAI는 이 벤치마크를 연구자가 반복적으로 겪는 문제를 줄이는 데 활용하고, 생물안전·생물보안 문제를 추적하는 데도 쓰겠다고 밝혔다.
왜 중요한가
생명과학 연구자는 AI가 실험 데이터를 읽고 잘못된 대조군을 알아차릴 가능성을 이 평가로 확인할 수 있습니다. 다만 비교는 OpenAI 모델에 한정됐고 집락 세기 오류도 보고돼, 연구자가 AI 판단을 그대로 믿어도 되는지는 아직 확인되지 않았습니다.
