I ricercatori hanno presentato EDB-Bio, un benchmark basato su studi pubblicati in tre ambiti della biologia, per verificare se i modelli linguistici sappiano valutare le prove a sostegno di ipotesi scientifiche. Nei test, i modelli non addestrati mostravano sistematicamente poca fiducia nelle proprie previsioni e ottenevano risultati simili a quelli di una semplice previsione basata sui tassi di base; addestrarli a produrre probabilità meglio calibrate ne ha migliorato i risultati.
Secondo i ricercatori, il loro modello Ibis0 ha selezionato gli esperimenti con un’efficienza 2,5 volte superiore a quella del migliore modello di frontiera in un compito di selezione sequenziale degli esperimenti. Hanno reso pubblici il codice, i dati e i modelli addestrati.
Perché conta
Per gli scienziati che usano l’IA per scegliere gli esperimenti, i risultati suggeriscono che l’addestramento alla calibrazione delle probabilità può migliorare la selezione degli esperimenti, anche se il vantaggio riportato riguarda soltanto il compito dello studio e non è stato convalidato in modo indipendente in questa sede.
