Investigadores presentaron EDB-Bio, un benchmark elaborado a partir de estudios publicados en tres campos de la biología, para evaluar si los modelos de lenguaje pueden valorar las pruebas a favor de hipótesis científicas. En las pruebas de los investigadores, los modelos sin entrenamiento mostraron sistemáticamente una confianza menor de la debida y obtuvieron resultados similares a los de una predicción sencilla basada en la tasa base; entrenarlos para que asignaran probabilidades mejor calibradas mejoró sus resultados.
Los investigadores afirman que su modelo Ibis0 seleccionó experimentos con una eficiencia 2,5 veces mayor que el mejor modelo de frontera en una tarea secuencial de selección de experimentos. Publicaron el código, los datos y los modelos entrenados.
Por qué importa
Para los científicos que usan IA para ayudar a elegir experimentos, los resultados sugieren que entrenar la calibración de probabilidades podría mejorar esa selección, aunque la ventaja comunicada se limita a la tarea del estudio y no se ha validado de forma independiente aquí.
