Pesquisadores apresentaram o EDB-Bio, um benchmark criado com base em estudos publicados em três áreas da biologia, para avaliar se modelos de linguagem conseguem julgar evidências a favor de hipóteses científicas. Nos testes dos pesquisadores, modelos sem treinamento específico demonstraram sistematicamente pouca confiança e tiveram desempenho semelhante ao de uma previsão simples baseada na taxa-base. O treinamento para que atribuíssem probabilidades mais bem calibradas melhorou os resultados.
Segundo os pesquisadores, o modelo Ibis0 selecionou experimentos 2,5 vezes mais eficientemente do que o melhor modelo de ponta em uma tarefa sequencial de seleção de experimentos. Eles disponibilizaram o código, os dados e os modelos treinados.
Por que importa
Para cientistas que usam IA para ajudar a escolher experimentos, os resultados sugerem que o treinamento para calibrar probabilidades pode aprimorar essa seleção. No entanto, a vantagem relatada se limita à tarefa estudada e não foi validada de forma independente aqui.
