Onderzoekers introduceerden EDB-Bio, een benchmark op basis van gepubliceerde studies uit drie biologische vakgebieden. Daarmee testten ze of taalmodellen bewijs voor wetenschappelijke hypothesen kunnen beoordelen. In de tests waren modellen zonder training stelselmatig te weinig zeker van hun zaak en presteerden ze ongeveer even goed als een eenvoudige voorspelling op basis van de basisfrequentie. Training om beter gekalibreerde waarschijnlijkheden te geven, verbeterde hun resultaten.
Volgens de onderzoekers selecteerde hun model Ibis0 experimenten in een taak waarbij experimenten stapsgewijs werden gekozen 2,5 keer efficiënter dan het beste frontiermodel. Ze hebben de code, gegevens en getrainde modellen vrijgegeven.
Waarom het ertoe doet
Voor wetenschappers die AI willen inzetten bij de keuze van experimenten, wijzen de resultaten erop dat training in het kalibreren van waarschijnlijkheden die keuze kan verbeteren. Het gemelde voordeel geldt echter alleen voor de taak in het onderzoek en is hier niet onafhankelijk gevalideerd.
